Claude 인용: Anthropic 봇 3가지와 허용할 봇 고르는 법

핵심 답변: Claude 인용을 보장할 수 있는 사람은 없습니다. Anthropic의 도움말은 로봇 세 개를 소개하고 각각을 비활성화하면 어떻게 되는지 알려 주지만, Claude가 인용할 페이지를 어떻게 고르는지는 설명하지 않습니다. 내가 정할 수 있는 것은 robots.txt입니다. ClaudeBot은 학습에 기여할 수 있는 콘텐츠를 수집하고, Claude-User는 누군가 Claude에게 질문할 때 페이지를 가져오며, Claude-SearchBot은 검색 결과의 품질을 높이는 일을 합니다. 뒤의 두 봇에 대해 Anthropic은 비활성화하면 검색에서의 노출이 줄어들 수 있다고 밝힙니다. 학습은 별개의 결정입니다.

Claude 인용을 원할 때 내가 정할 수 있는 것

먼저 한계부터 짚겠습니다. Claude가 답변에서 어떤 페이지를 언급할지는 Claude가 정합니다. Anthropic의 도움말 문서 “Does Anthropic crawl data from the web, and how can site owners block the crawler?”는 크롤링과 옵트아웃을 다룹니다. 어떤 로봇이 있는지, 각각 무슨 용도인지, 어떻게 제한하는지를 알려 주지만, Claude가 출처를 어떻게 고르는지, 봇을 허용하면 언급으로 이어지는지, 변경이 반영되는 데 얼마나 걸리는지는 말하지 않습니다. robots.txt 설정이 인용에 영향을 준다고 증명하는 출처를 우리는 알지 못하므로, 이 글도 그런 약속은 하지 않습니다.

이 페이지가 주는 것은 역할 구분입니다. Anthropic은 로봇을 “to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction”, 즉 모델 개발을 위해 공개 웹에서 데이터를 모으고, 웹을 검색하고, 사용자의 지시에 따라 웹 콘텐츠를 가져오는 데 쓴다고 밝힙니다. 이 페이지의 날짜는 2026년 4월 7일이며, 우리는 2026년 11월 4일에 가져왔습니다. 이 글에서 Anthropic에 대해 하는 말은 모두 이 페이지에서 나온 것이고, 우리의 해석인 문장에는 그렇다고 표시합니다.

읽을 수 있다는 것과 인용된다는 것은 다릅니다. Anthropic의 봇이 읽을 수 있는 페이지도 답변에서 빠질 수 있고, 읽을 수 없는 페이지는 봇에게 쓸 거리를 주지 못합니다. 읽을 수 있게 만드는 일이 내가 정할 수 있는 부분입니다. SEOgrinder는 그 부분을 점검할 뿐 인용을 측정하지 않으며, 그 차이는 AI 가시성 확인 글에서 설명합니다.

Anthropic 봇 세 개를 표 하나로

같은 페이지는 이 봇들이 robots.txt의 업계 표준 지시어를 따르고 우회 방지 기술을 존중한다고 덧붙입니다. CAPTCHA를 우회하려 하지 않는다는 뜻입니다. 어느 봇을 허용하라는 권장은 하지 않습니다. 비활성화하면 어떻게 되는지를 설명할 뿐이며, 선택은 내가 합니다.

봇 1: ClaudeBot, 학습용 봇

표에 따르면 ClaudeBot을 제한하는 것은 내 사이트의 앞으로의 자료를 Anthropic의 학습 데이터셋에서 제외하라는 신호입니다. 페이지는 앞으로의 자료라고 말하며, 우리는 그 이상을 읽어 내지 않습니다.

여기서는 이 행이 말하지 않는 것이 중요합니다. ClaudeBot에 대해 Anthropic은 학습에서의 제외를 말하고 검색에 미치는 영향은 말하지 않습니다. 노출에 미치는 영향은 나머지 두 봇의 행에 나옵니다. 이것은 표에 대한 우리의 해석이지 Anthropic의 설명이 아니지만, Claude의 검색에서 발견되고 싶을 때 살펴볼 설정이 ClaudeBot이 아닐 수 있음을 시사합니다. 학습을 허용할지는 사업상의 결정이며, SEOgrinder가 대신 내려 주지 않습니다.

봇 2: Claude-User, 질문받을 때 페이지를 가져오는 봇

Claude-User는 개별 요청 하나 뒤에 있는 봇입니다. 누군가 Claude에게 질문하면 Claude가 답하기 위해 웹사이트를 열 수 있습니다. Anthropic은 “may”(~할 수 있다)라고 쓰므로, 질문한다고 해서 늘 방문으로 이어지는 것은 아닙니다.

Anthropic은 Claude-User를 통해 사이트 운영자가, 사용자가 시작한 이런 요청으로 어떤 사이트에 접근할 수 있는지 제어할 수 있다고 말합니다. 모든 봇이 robots.txt를 따른다는 설명과 합치면, 내 파일의 규칙이 여기에도 적용된다는 뜻입니다. 다른 운영 주체는 다릅니다. OpenAI는 ChatGPT-User에 대해 “robots.txt rules may not apply”, 즉 robots.txt 규칙이 적용되지 않을 수 있다고 씁니다(OpenAI). 운영 주체마다 해당 페이지를 읽고, 규칙을 한쪽에서 다른 쪽으로 그대로 옮기지 마세요.

Claude-User를 비활성화하면 Anthropic의 시스템이 사용자 질의에 응답해 내 콘텐츠를 가져올 수 없게 되고, 이는 사용자가 주도하는 웹 검색에서의 노출을 줄일 수 있다고 Anthropic은 말합니다.

봇 3: Claude-SearchBot, 검색용 봇

Claude-SearchBot은 설명이 검색 결과 자체에 관한 로봇입니다. Anthropic에 따르면 이 봇은 검색 결과의 품질을 높이기 위해 웹을 탐색하고, 검색 응답이 더 적절하고 정확해지도록 콘텐츠를 분석합니다. 비활성화하면 검색 최적화를 위한 내 콘텐츠의 색인이 이뤄지지 않습니다.

우리의 해석입니다. Claude의 검색 결과에 나타나고 싶다면 robots.txt에서 가장 먼저 확인할 줄은 Claude-SearchBot입니다. 이 봇의 일이 검색을 위한 색인이기 때문입니다. 이 봇을 허용하는 것은 페이지가 설명하는 일이 일어나기 위한 전제 조건입니다. 무언가가 표시된다는 약속은 아닙니다.

어떤 봇을 허용할까? 세 가지 질문

Anthropic은 어느 봇을 허용하라고 말하지 않습니다. 아래는 우리라면 이렇게 정하겠다는 방식이며, Anthropic의 의견이 아니라 우리의 의견입니다.

1. 내 페이지가 Claude의 검색 결과에 나오길 원하나요? 그렇다면 Claude-SearchBot을 비활성화하지 마세요.
2. 누군가 물어볼 때 Claude가 내 페이지를 열 수 있길 원하나요? 그렇다면 Claude-User를 비활성화하지 마세요.
3. 내 콘텐츠가 학습 데이터에 들어가도 되나요? 이것이 ClaudeBot에 관한 결정이며, 앞의 둘과 다를 수 있습니다. 사이트는 셋을 모두 허용할 수도, 학습만 거부할 수도 있습니다.

이 중 어느 답도 기술적 오류가 아닙니다. 실수는 우연히 결정하게 될 때 생깁니다. 예를 들어 테스트 환경에서 쓰던 Disallow: /가 내 파일에 그대로 남아 있는 경우입니다.

봇별로 robots.txt에서 허용하거나 차단하는 방법

검색과 사용자 요청에 따른 가져오기는 허용하고 학습은 거부하는 파일입니다.

# 학습: 직접 정할 결정입니다 (이 예시는 거부합니다)
User-agent: ClaudeBot
Disallow: /

# 검색과 사용자 요청에 따른 가져오기
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

봇 하나를 사이트 전체에서 막으려면, Anthropic의 페이지는 최상위 디렉터리의 robots.txt에 봇 이름을 담은 User-agent 줄과 그 뒤의 Disallow: /를 두라고 안내합니다. 옵트아웃하려는 모든 서브도메인에 대해 이렇게 하라고 요청하므로, www.example.com과 blog.example.com은 각각 자기 파일이 필요합니다. 막는 대신 속도를 늦추고 싶다면, 이 페이지에 따르면 Anthropic은 표준이 아닌 Crawl-delay 줄을 지원하며 ClaudeBot의 예로 Crawl-delay: 1을 보여 줍니다.

이 페이지는 봇의 IP 주소를 차단하지 말라고도 경고합니다. 그렇게 하면 Anthropic이 내 robots.txt를 읽을 수 없게 되어 제대로 작동하지 않을 수 있고, 옵트아웃이 보장되지도 않습니다. 규칙은 robots.txt에 적으세요.

함정 하나는 Anthropic이 아니라 표준에서 나옵니다. RFC 9309에 따르면 크롤러는 자기 이름과 일치하는 그룹을 따르고, 전용 그룹이 있으면 * 그룹은 그 크롤러에게 적용되지 않습니다. Claude-SearchBot을 위한 그룹을 추가한다면, 계속 유지되어야 하는 규칙을 모두 다시 적으세요. 해결 방법은 OpenAI와 Perplexity도 다루는 AI 크롤러 차단·허용: robots.txt 설정 예시 3가지 글에 있습니다.

우리 파일은 예시일 뿐 권장 사항이 아닙니다. 2026년 11월 4일에 curl로 https://seogrinder.com/robots.txt를 가져왔습니다. 이 파일은 *와 AI user agent 9개(ClaudeBot, Claude-SearchBot, Claude-User 포함)를 하나의 공통 그룹으로 묶고 /api/를 제외한 모든 것을 허용합니다. 내 파일은 다를 수 있습니다.

진짜 Anthropic 방문과 가짜 구분하기

Anthropic의 페이지는 목록 하나, claude.com/crawling/bots.json을 링크하며, 이 목록에 있는 출발지 주소의 크롤러는 Anthropic에서 온 것이라고 말합니다. 우리는 2026년 11월 4일에 이 파일을 가져왔습니다. 주소 접두사와 creationTime 필드가 든 JSON 파일 하나였고, 이 필드는 2026년 10월 20일을 가리켰습니다. 이 목록은 봇별로 나뉘어 있지 않아서, 방문이 Anthropic에서 왔다는 것은 보여 주지만 세 봇 중 어느 것인지는 보여 주지 않습니다. 그것은 user agent의 이름으로만 읽을 수 있고, 누구나 이름을 헤더에 적을 수 있습니다. 그러니 방문은 출발지 주소가 목록에 있을 때만 세고, 이 파일을 가끔 다시 가져오세요.

• 로그에서는 버전이 아니라 이름으로 검색하세요. 이 페이지는 완전한 user-agent 문자열을 싣지 않습니다. 로그가 비어 있다고 차단의 증거는 아닙니다. 봇이 얼마나 자주 방문하는지 이 페이지가 말하지 않기 때문입니다.
• 챌린지 페이지를 받은 봇은 아무것도 읽지 못합니다. Anthropic은 자사 봇이 CAPTCHA를 우회하지 않는다고 말합니다. JavaScript를 실행하는지는 이 페이지에 없으며, 알려진 내용은 AI 크롤러 JavaScript 렌더링: 빈 페이지를 찾는 1분 테스트 3가지 글에 정리되어 있습니다.

SEOgrinder로 확인하기

SEOgrinder는 무료이고 가입이 필요 없으며, 우리가 만듭니다. 주소를 입력하고 분석을 시작해 리포트를 여세요. 여기서 중요한 곳은 두 군데입니다.

• AI 준비도 탭, 「AI 에이전트용 검사」: 「AI 봇 제어하기」 항목은 명시적 규칙이 있는 AI 크롤러가 몇 개이고 그중 몇 개가 허용, 몇 개가 차단인지 보여 주고 차단된 봇의 이름을 알려 줍니다. ClaudeBot, Claude-User, Claude-SearchBot을 이름으로 압니다. ClaudeBot은 학습 봇으로, Claude-SearchBot은 검색 봇으로 셉니다. 학습과 검색에 각각 명시적 규칙이 있어야 이 항목이 충족됩니다. Claude-User에 대한 규칙만 있으면 둘 중 어느 쪽도 해결되지 않습니다.
• 할 일 탭, 「AI 크롤러는 허용했지만 서버가 거부합니다 — 확인 필요」: SEOgrinder는 고정된 봇 이름 네 개 중 robots.txt가 허용하는 것에 대해서만 서버가 어떻게 응답하는지 테스트하고, 브라우저의 응답과 비교합니다. Anthropic의 봇 중에서는 ClaudeBot만 여기에 있으며, 테스트는 이름만 씁니다.

항목에서 에이전트 프롬프트 복사를 누르면 코딩 어시스턴트에게 줄 지시문을 받고, 변경한 뒤에는 다시 확인을 누르세요. SEOgrinder는 서버 로그를 읽지 않으며, Claude가 내 사이트를 언급하는지도 측정하지 않습니다.

자주 하는 실수

• Claude의 검색에서 빠지려고 ClaudeBot을 차단하기. ClaudeBot에 대해 Anthropic은 학습에서의 제외를 말합니다. 검색에 미치는 영향은 나머지 두 봇에 대해 나옵니다.
• 조심스러운 마음에 세 봇을 모두 차단하기. Claude-User와 Claude-SearchBot에 대해 Anthropic은 노출이 줄어들 수 있다고 말합니다.
• robots.txt 대신 IP 주소로 차단하기. Anthropic은 이 방법이 제대로 작동하지 않을 수 있다고 말합니다.
• 메인 도메인만 고치기. Anthropic은 옵트아웃하려는 모든 서브도메인에 규칙을 두라고 요청합니다.
• 봇 하나를 위한 그룹을 추가하고 공통 규칙을 잃기. 봇 전용 그룹이 * 그룹을 대체합니다.
• 허용한 봇을 인용으로 읽기. 봇을 허용하는 것은 장애물 하나를 치우는 일이며, 언급을 약속하지 않습니다.

자주 묻는 질문

클로드가 내 페이지를 인용하게 만들 수 있나요?

아니요. 인용을 강제할 수 있는 사람은 없고, Anthropic의 페이지에도 인용을 일으키는 설정은 나와 있지 않습니다. Anthropic의 봇이 내 페이지를 읽을 수 있도록 장애물을 치울 수는 있습니다. Claude가 그 페이지를 언급할지는 Claude가 정합니다.

ClaudeBot을 차단하면 Claude의 검색에서 빠지나요?

Anthropic의 페이지는 그렇게 말하지 않습니다. ClaudeBot에 대해서는 앞으로의 자료를 학습 데이터셋에서 제외하는 것을 말합니다. 검색에 미치는 영향으로 든 것은 Claude-User와 Claude-SearchBot에 속합니다.

SEOgrinder는 Claude가 내 사이트를 인용하는지 보여 주나요?

아니요. 기술적 기반을 점검합니다. AI 시스템이 페이지에 접근해 읽을 수 있는지입니다.

다음 단계

robots.txt를 열어 ClaudeBot, Claude-User, Claude-SearchBot이 있는지 찾아보세요. 각 봇을 의도를 가지고 정하세요. 검색과 사용자 요청에 따른 가져오기는 한쪽에, 학습은 다른 쪽에 둡니다. 서브도메인을 운영한다면 파일마다 확인하세요. 그런 다음 SEOgrinder에서 무료 스캔을 실행하고 AI 준비도 탭과 할 일 탭을 열어 열려 있는 항목을 고치세요.

함께 읽어 보세요

• 퍼플렉시티 최적화: PerplexityBot이 내 페이지를 읽는지 확인하는 3가지
• ChatGPT 노출: 직접 테스트한 기술 점검 3가지
• GEO와 SEO 차이: 정말 다른 점, 그리고 Google이 같다고 말하는 것