AI 가시성 확인: ChatGPT·Gemini·Perplexity가 내 웹사이트에 접근할 수 있을까?
핵심 답변: AI 가시성 확인에는 두 가지 방법이 있습니다. 하나는 ChatGPT, Gemini, Perplexity가 내 브랜드를 얼마나 언급하는지 추적하는 것이고, 다른 하나는 AI 크롤러가 내 페이지에 접근해 읽을 수 있는지 점검하는 것입니다. 먼저 해야 할 쪽은 두 번째입니다. 크롤러가 막혀 있거나 본문이 JavaScript가 실행된 뒤에야 나타난다면 어떤 추적 리포트도 도움이 되지 않기 때문입니다. SEOgrinder는 이 준비 상태 점검을 가입 없이 무료로 제공합니다. 어떤 방법도 AI가 내 사이트를 언급해 줄 것을 보장하지는 않습니다.
AI 가시성 확인이 실제로 측정하는 것
같은 말이 서로 다른 두 종류의 제품을 가리키며, 둘을 헷갈리면 엉뚱한 곳을 고치게 됩니다.
언급 추적은 정해 둔 질문(프롬프트) 목록을 AI 어시스턴트에 보내고, 답변에 내 브랜드나 주소가 나타나는지 기록합니다. “우리가 언급되고 있는가?”라는 질문에 답하는 방식입니다. 무료와 유료 추적 서비스가 모두 있습니다.
준비 상태 점검은 내 웹사이트 자체를 봅니다. “AI 시스템이 우리 페이지를 가져와 읽을 수 있는가?”라는 질문에 답합니다. 이것은 기술적인 질문이며, 대부분의 항목은 예 또는 아니요로 분명히 갈립니다. robots.txt에서 크롤러가 허용되어 있는지, 전달되는 HTML에 텍스트가 들어 있는지, 페이지가 색인될 수 있는지가 그런 항목입니다. 준비 상태 점검은 어시스턴트가 나를 언급할지는 알려 주지 않습니다. 눈에 띄는 걸림돌을 치웠는지를 알려 줍니다.
둘 다 유용합니다. 답하는 질문이 다르고, 순서가 중요합니다.
접근 가능 여부를 먼저 점검해야 하는 이유
문서로 확인되는 사실 세 가지가 이를 설명합니다.
- ChatGPT 검색은 OAI-SearchBot에 의존합니다. OpenAI는 OAI-SearchBot을 옵트아웃한 사이트는 ChatGPT 검색 답변에 나타나지 않지만 탐색용 링크로는 여전히 표시될 수 있다고 밝힙니다. robots.txt를 바꾼 뒤 반영되기까지 약 24시간이 걸릴 수 있습니다. 출처: OpenAI 크롤러 문서.
- AI 크롤러는 대부분 전달받은 HTML만 읽습니다. 2024년 12월 Vercel과 MERJ의 분석에서는 조사 대상인 주요 AI 크롤러 가운데 JavaScript를 실행한 것이 없었고, Googlebot(Gemini용)과 AppleBot은 실행했습니다. 우리가 확인한 출처에서는 이 분석이 반복되지 않았으므로 영구적인 법칙이 아니라 강한 경고로 읽으세요. 출처: Vercel, The rise of the AI crawler.
- Google의 AI 기능에는 추가 요건이 없습니다. Google은 AI 개요나 AI 모드에 나타나기 위한 추가 요건이나 특별한 최적화는 없다고 밝힙니다. 페이지는 색인되어 있어야 하고, 스니펫과 함께 Google 검색에 표시될 수 있어야 합니다. 출처: Google Search Central.
종합하면 이렇습니다. 문이 닫혀 있으면 아무도 방 안을 볼 수 없습니다. 추적 서비스는 낮은 숫자를 보여 줄 뿐, robots.txt가 봇을 막고 있다거나 스크립트가 실행되기 전까지 페이지가 빈 껍데기라는 사실은 알려 주지 않습니다.
AI가 내 사이트를 읽을 수 있는지 가르는 점검 항목
| 점검 항목 | 답하는 질문 | 흔한 실패 사례 |
|---|---|---|
| robots.txt의 AI 크롤러 규칙 | 봇마다 의도적으로 허용하거나 차단했는가? | 광범위한 Disallow: / 하나, 또는 공통 규칙을 빠뜨린 봇 전용 그룹 |
| 검색용 봇과 학습용 봇 | 학습은 막으면서 검색은 허용하고 있는가? | GPTBot을 막고 ChatGPT 검색이 꺼졌다고 믿는 것 |
| 전달되는 HTML 속 텍스트 | 핵심 콘텐츠가 JavaScript 없이 첫 응답에 들어 있는가? | script 태그만 있는 빈 페이지 껍데기 |
| 스니펫과 함께 색인 가능 | noindex와 nosnippet이 없는가? | 테스트 서버 설정이 그대로 공개된 경우 |
| CDN과 방화벽을 통한 접근 | 봇이 차단 화면이 아니라 정상 페이지를 받는가? | 모르는 크롤러를 거부하는 봇 방어 규칙 |
| 사이트맵 | 발견되길 원하는 페이지가 들어 있는가? | 사이트맵이 없거나, 리디렉션으로 가득 찬 사이트맵 |
| 선택 신호 | Content-Signal, llms.txt, 마크다운 버전 | 순위 수단으로 취급됨, 효과는 입증되지 않음 |
Google은 첫째, 넷째, 다섯째 항목을 직접 언급합니다. 페이지는 색인되어 있고 스니펫과 함께 검색에 표시될 수 있어야 하며, 모범 사례로는 robots.txt와 CDN, 호스팅 인프라에서 크롤링이 허용되어 있어야 합니다. Google은 내부 링크와 텍스트 형태의 중요한 콘텐츠도 기본으로 꼽습니다.
AI 크롤러별 역할
OpenAI와 Anthropic은 학습, 검색, 사용자 요청을 구분하고, Perplexity와 Google은 역할을 다르게 나눕니다. 그래서 User-agent 줄 하나로는 충분하지 않은 경우가 많습니다.
| 봇 | 운영사 | 용도 | 차단하면 |
|---|---|---|---|
| GPTBot | OpenAI | 모델 학습 | 콘텐츠를 학습에 쓰지 말라는 신호 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 | ChatGPT 검색 답변에 사이트가 나타나지 않음 |
| ChatGPT-User | OpenAI | ChatGPT에서의 사용자 요청 | 사람이 요청한 것이므로 robots.txt 규칙이 적용되지 않을 수 있음 |
| ClaudeBot | Anthropic | 학습용 콘텐츠 수집 | 앞으로의 콘텐츠를 학습에서 제외하라는 신호 |
| Claude-SearchBot | Anthropic | 검색 결과 품질 | 검색 결과에서의 노출이 줄 수 있음 |
| Claude-User | Anthropic | 사용자가 Claude에게 하는 질문 | 요청에 따른 가져오기가 막히고 노출이 줄 수 있음 |
| PerplexityBot | Perplexity | Perplexity 검색 결과 | 학습에 쓰이지 않음. Perplexity는 허용을 권장 |
| Google-Extended | Gemini 학습과 그라운딩 | Google 검색의 포함 여부와 순위에는 영향 없음 |
출처: OpenAI, Anthropic, Perplexity, Google. 각 업체는 목록을 바꾸므로 규칙을 그대로 가져다 쓰기 전에 문서를 확인하세요. 설정 방법은 robots.txt로 AI 크롤러 차단·허용하기에서 예시와 함께 설명합니다.
5분 만에 준비 상태 점검하기
- SEOgrinder를 열고 주소를 입력한 뒤 분석을 시작합니다. 가입은 필요 없습니다.
- 리포트에서 AI 준비도 탭을 엽니다.
- “AI 에이전트용 검사”를 읽습니다. 기본 세 가지(robots.txt, 사이트맵, AI 크롤러 규칙)와 추가 네 가지(Content-Signals, llms.txt, 마크다운 버전, Link 헤더)가 있습니다. 추가 항목은 일부 업체의 제안이며, 아직 충족되지 않은 항목이 있으면 도구가 그렇게 밝힙니다. Google에서의 효과는 입증되지 않았습니다.
- 충족된 항목은 펼칠 수 있고, 파일에서 발견된 텍스트가 보입니다. SEOgrinder는 GPTBot이 아니라 자기 이름으로 내 사이트를 가져온다는 점을 기억하세요.
- 에이전트 프롬프트 복사를 눌러 코딩 AI에 붙여 넣습니다. 충족되지 않은 항목의 프롬프트는 무엇을 만들고 어떻게 확인할지 설명하고, 충족된 항목의 프롬프트는 기존 내용을 검토해 잘못된 부분만 고치도록 요청합니다. 프롬프트 자체는 영어입니다.
- 다시 확인을 눌러 결과를 확인합니다. 리포트는 최대 24시간 캐시에 남으므로 수정한 뒤에는 이 버튼을 쓰세요. 시간당 몇 번까지 쓸 수 있습니다.
리포트는 인터페이스를 브라우저에서만 만드는 페이지도 짚어 줍니다. JavaScript를 실행하지 않는 AI 크롤러에게는 그런 페이지가 비어 보일 수 있습니다. 이 문제는 AI 크롤러 JavaScript 렌더링 문제에서 따로 다룹니다.
직접 질문해 보는 테스트: 수동 추적부터 시작하기
기본 항목이 정리되면 결과를 측정해 볼 차례입니다. 시작하는 데 유료 도구는 필요 없습니다.
- 실제 고객이 물을 법한 질문 열 개를 적습니다. 동네 아이스크림 가게라면 “[도시]에서 가장 맛있는 아이스크림 가게는?”과 몇 가지 변형입니다.
- 각 질문을 새 대화창에서 ChatGPT, Gemini, Perplexity에 물어봅니다.
- 날짜, 어시스턴트, 질문, 내가 언급되었는지, 어떤 페이지가 출처로 표시되었는지, 대신 누가 나타났는지를 기록합니다.
- 같은 질문으로 매달 반복합니다.
답변은 실행할 때마다, 사용자마다 달라집니다. 결과 하나에 반응하지 말고 여러 차례에 걸친 추세를 보세요. 나중에 규모가 필요해지면 유료 추적 서비스가 같은 프롬프트를 자동으로 돌려 줄 수 있습니다.
질문은 두 종류로 나눠 보면 좋습니다. 내 이름이 없는 질문(“[도시]에서 가장 맛있는 아이스크림 가게는?”)은 내가 발견되고 있는지를 보여 주고, 내 이름이 들어간 질문(“[가게 이름]은 일요일에 영업하나요?”)은 나에 관한 정보가 맞는지를 보여 줍니다. 앞의 경우는 도달 범위가 부족한 것이고, 뒤의 경우는 정보가 틀렸거나 오래된 것입니다. 해결하는 곳이 서로 다릅니다.
자주 하는 실수
- 놀란 김에 전부 차단하기. 모든 봇에
Disallow: /를 적용하면 검색 결과에서도 사라집니다. - ChatGPT에서 빠지려고 GPTBot 차단하기. GPTBot은 학습에 관한 것입니다. ChatGPT 검색은 OAI-SearchBot을 쓰며, 각 설정은 서로 독립적입니다.
- 공통 규칙을 빠뜨린 별도 그룹. 자기 전용 그룹을 찾은 크롤러는 그 그룹만 따르고
*그룹은 무시합니다(RFC 9309). 같은 규칙 묶음 위에User-agent줄을 여러 개 두거나 규칙을 반복해서 쓰세요. - 추적 서비스 점수를 읽을 수 있다는 증거로 해석하기. JavaScript 없이는 비어 있는 페이지도 다른 출처에서 언급될 수 있고, 읽을 수 있는 페이지도 무시될 수 있습니다.
- llms.txt를 순위 수단으로 취급하기. 보도에 따르면 Google의 Gary Illyes는 Google이 llms.txt를 지원하지 않는다고 말했고, John Mueller는 자신이 아는 한 이 파일을 쓰는 AI 시스템은 없다고 말했습니다. 이는 2차 보도입니다. Search Engine Roundtable를 참고하세요. 추가하는 비용은 낮지만 효과는 입증되지 않았습니다. 자세한 내용은 llms.txt란? 만드는 방법과 실제로 효과가 있는지 정리에 있습니다.
- 변경이 즉시 반영되길 기대하기. robots.txt를 갱신한 뒤에는 크롤러에게 하루 정도 시간을 주세요.
자주 묻는 질문
무료 AI 가시성 확인 도구가 있나요?
두 종류 모두 있습니다. 언급 확인 도구는 AI 플랫폼이 브랜드를 인용하는지 보여 줍니다. SEOgrinder는 AI 시스템이 내 사이트에 접근해 읽을 수 있는지를 가입 없이 무료로 점검합니다.
점검 도구로 ChatGPT가 내 비즈니스를 언급하도록 보장할 수 있나요?
아닙니다. 어시스턴트가 무엇을 답할지는 누구도 통제할 수 없습니다. 기술적인 걸림돌을 없애고 인용할 가치가 있는 페이지를 공개할 수는 있습니다. 어시스턴트가 나를 언급할지는 어시스턴트가 정합니다.
GPTBot을 차단하면 ChatGPT 답변에서 빠지나요?
아닙니다. GPTBot은 학습용 크롤러입니다. ChatGPT 검색은 OAI-SearchBot을 허용한 사이트만 보여 줄 수 있고, 사용자 요청은 ChatGPT-User를 씁니다.
llms.txt 파일이 필요한가요?
선택 사항입니다. 비용이 적게 들고 SEOgrinder도 이를 확인하지만, 순위나 인용에 미치는 효과는 입증되지 않았습니다. robots.txt, 사이트맵, 실제 질문에 답하는 페이지를 대신하지는 못합니다.
무엇부터 점검해야 하나요?
준비 상태 점검부터입니다. 크롤러가 내 페이지를 가져가지 못한다면 이후의 모든 측정은 0에서 시작합니다.
다음 단계
내 사이트로 무료 스캔을 실행하고 AI 준비도 탭을 열어 보세요. 기본 세 가지 가운데 충족되지 않은 것이 있으면 먼저 고치고, 다시 확인을 누른 다음 언급 추적을 시작하세요.