Como ser citado pelo Claude: 3 bots da Anthropic e qual permitir

Por SEOgrinder · Publicado em · 10 min de leitura

Resposta curta: Ninguém pode prometer que você vai ser citado pelo Claude. A página de ajuda da Anthropic nomeia três robôs e diz o que acontece quando você desativa cada um; ela não descreve como o Claude escolhe as páginas que cita. O que você controla é o robots.txt. O ClaudeBot coleta conteúdo que pode contribuir para o treinamento, o Claude-User busca uma página quando alguém faz uma pergunta ao Claude e o Claude-SearchBot trabalha na qualidade dos resultados de busca. Para os dois últimos, a Anthropic diz que desativá-los pode reduzir a sua visibilidade na busca. O treinamento é uma decisão à parte.

O que você controla quando quer ser citado pelo Claude

Comece pelo limite. Se o Claude cita uma página em uma resposta, quem decide é o Claude. O artigo de ajuda da Anthropic “Does Anthropic crawl data from the web, and how can site owners block the crawler?” trata de rastreamento e de exclusão. Ele diz quais robôs existem, para que serve cada um e como limitá-los. Como o Claude escolhe as suas fontes, se permitir um bot leva a uma menção e quanto tempo uma mudança leva, isso não está lá. Não conhecemos nenhuma fonte que prove um efeito de uma configuração do robots.txt sobre citações, por isso este artigo não promete nenhum.

O que a página oferece é uma divisão de funções. A Anthropic diz que usa robôs para coletar dados da web pública para o desenvolvimento de modelos, para pesquisar na web e para buscar conteúdo da web por solicitação dos usuários (“to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction”). A página tem a data de 7 de abril de 2026, e nós a consultamos em 4 de novembro de 2026. Tudo o que dizemos aqui sobre a Anthropic vem dela, e quando uma frase é uma leitura nossa, deixamos isso claro.

Legível não é o mesmo que citado. Uma página que os bots da Anthropic conseguem ler ainda pode ficar de fora de uma resposta, e uma página que eles não conseguem ler não lhes dá nada para usar. A legibilidade é a parte que você controla. O SEOgrinder verifica essa parte e não mede citações; o nosso artigo sobre visibilidade em IA explica a diferença.

Os três bots da Anthropic em uma tabela

BotPara que serve, segundo a AnthropicO que acontece ao desativá-lo, segundo a Anthropic
ClaudeBotColeta conteúdo da web que pode contribuir para o treinamento dos seus modelos de IA generativaSinaliza que o material futuro do site deve ser excluído dos conjuntos de dados de treinamento
Claude-UserApoia os usuários do Claude: quando alguém faz uma pergunta ao Claude, ele pode acessar sites com este agenteImpede que a Anthropic busque o seu conteúdo em resposta a uma consulta de usuário, o que pode reduzir a sua visibilidade na busca na web dirigida pelo usuário
Claude-SearchBotNavega pela web para melhorar a qualidade dos resultados de busca para os usuários, analisando conteúdo para tornar as respostas de busca mais relevantes e precisasImpede que a Anthropic indexe o seu conteúdo para otimização da busca, o que pode reduzir a sua visibilidade e a precisão nos resultados de busca dos usuários

A mesma página acrescenta que os seus bots respeitam as diretivas padrão do setor no robots.txt e as tecnologias contra contorno: a Anthropic não tenta, por exemplo, burlar CAPTCHAs. Ela não recomenda permitir nenhum dos bots. Descreve o que acontece quando você desativa um, e a escolha continua sendo sua.

Bot 1: ClaudeBot, o bot de treinamento

Segundo a tabela, restringir o ClaudeBot sinaliza que o seu material futuro deve ser excluído dos conjuntos de dados de treinamento da Anthropic. A página fala de material futuro, e não lemos mais do que isso.

O que a linha deixa de fora importa aqui. Para o ClaudeBot, a Anthropic nomeia a exclusão do treinamento e nenhum efeito sobre a busca; os efeitos sobre a visibilidade aparecem nas linhas dos outros dois bots. Essa é a nossa leitura de uma tabela, não uma declaração da Anthropic, mas ela sugere que o ClaudeBot não é a configuração a olhar se você quer ser encontrado na busca do Claude. Permitir ou não o treinamento é uma decisão de negócio que o SEOgrinder não toma por você.

Bot 2: Claude-User, o bot que busca quando alguém pergunta

O Claude-User está por trás de uma única solicitação: uma pessoa faz uma pergunta ao Claude, e o Claude pode abrir um site para respondê-la. A Anthropic escreve “may” (pode), então uma pergunta nem sempre leva a uma visita.

A Anthropic diz que o Claude-User permite aos donos de sites controlar quais sites podem ser acessados por essas solicitações iniciadas pelo usuário. Junto com a afirmação de que todos os seus bots respeitam o robots.txt, isso significa que uma regra no seu arquivo vale aqui também. Outros operadores são diferentes: a OpenAI escreve que, para o ChatGPT-User, “robots.txt rules may not apply”, ou seja, as regras do robots.txt podem não valer (OpenAI). Leia a página de cada operador e não transfira uma regra de um para o outro.

Se você desativa o Claude-User, a Anthropic diz que o sistema dela deixa de poder buscar o seu conteúdo em resposta a uma consulta de usuário, o que pode reduzir a sua visibilidade na busca na web dirigida pelo usuário.

Bot 3: Claude-SearchBot, o bot de busca

O Claude-SearchBot é o robô cuja descrição trata dos próprios resultados de busca. Segundo a Anthropic, ele navega pela web para melhorar a qualidade dos resultados e analisa conteúdo para tornar as respostas de busca mais relevantes e precisas. Desativá-lo impede a indexação do seu conteúdo para otimização da busca.

Nossa leitura: se você quer aparecer nos resultados de busca do Claude, o Claude-SearchBot é a primeira linha a conferir no seu robots.txt, porque a função dele é indexar para a busca. Permiti-lo é a condição para o que a página descreve. Não é uma promessa de que algo será exibido.

Qual bot permitir? Três perguntas

A Anthropic não diz qual bot você deve permitir, então aqui está como nós decidiríamos. Esta é a nossa opinião, não a da Anthropic.

  1. Você quer as suas páginas nos resultados de busca do Claude? Então não desative o Claude-SearchBot.
  2. Você quer que o Claude possa abrir as suas páginas quando alguém perguntar sobre elas? Então não desative o Claude-User.
  3. Você quer o seu conteúdo nos conjuntos de dados de treinamento? Essa é a decisão sobre o ClaudeBot, e ela pode ser diferente das duas primeiras. Um site pode permitir os três ou recusar só o treinamento.

Nenhuma dessas respostas é um erro técnico. O erro acontece quando você decide sem querer, por exemplo porque um Disallow: / de um ambiente de testes ainda está no seu arquivo.

Como permitir ou bloquear cada bot no robots.txt

Um arquivo que permite a busca e as buscas a pedido do usuário e recusa o treinamento:

# Treinamento: decisão sua (este exemplo o recusa)
User-agent: ClaudeBot
Disallow: /

# Busca e acessos a pedido de um usuário
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Para bloquear um bot em todo o site, a página da Anthropic mostra uma linha User-agent com o nome do bot seguida de Disallow: /, no robots.txt do diretório de nível superior. Ela pede que você faça isso para cada subdomínio que quiser excluir, então www.example.com e blog.example.com precisam, cada um, do seu próprio arquivo. Para só desacelerar um bot, a página diz que a Anthropic aceita a linha não padronizada Crawl-delay e mostra Crawl-delay: 1 para o ClaudeBot.

A página também desaconselha bloquear os endereços IP dos seus bots. Isso pode não funcionar direito nem garantir a exclusão, porque impede a Anthropic de ler o seu robots.txt. Escreva a regra no robots.txt.

Uma armadilha vem do padrão, não da Anthropic. De acordo com a RFC 9309, um crawler segue o grupo que corresponde ao seu nome e, se ele tiver um grupo próprio, o grupo * não vale para ele. Se você criar um grupo para o Claude-SearchBot, repita todas as regras que ainda precisam valer. O nosso artigo sobre robots.txt para crawlers de IA mostra a solução e trata também da OpenAI e da Perplexity.

O nosso próprio arquivo é um exemplo, não uma recomendação. Em 4 de novembro de 2026, consultamos https://seogrinder.com/robots.txt com o curl: um grupo comum com * e nove user agents de IA, entre eles ClaudeBot, Claude-SearchBot e Claude-User, permitindo tudo, exceto /api/. O seu pode ser diferente.

Como reconhecer visitas reais da Anthropic

A página liga a uma lista, claude.com/crawling/bots.json, e diz que um crawler com endereço de origem nessa lista vem da Anthropic. Nós a consultamos em 4 de novembro de 2026: um arquivo JSON com prefixos de endereço e um campo creationTime que indicava 20 de outubro de 2026. Ela não é separada por bot, então mostra que uma visita é da Anthropic, não qual dos três bots a fez. Isso só dá para ler pelo nome no user agent, e qualquer pessoa pode escrever um nome em um cabeçalho. Por isso, conte uma visita apenas se o endereço dela estiver na lista, e baixe o arquivo de novo de tempos em tempos.

  • Procure nos logs pelos nomes, não por uma versão. A página não traz strings completas de user agent. Um log vazio não prova um bloqueio, porque a página não diz com que frequência os bots passam.
  • Um bot que recebe uma página de desafio não lê nada. A Anthropic diz que os seus bots não burlam CAPTCHAs. Se eles executam JavaScript, isso não está na página; o nosso artigo sobre crawlers de IA e JavaScript resume o que se sabe.

Como o SEOgrinder ajuda

O SEOgrinder é gratuito, não exige conta, e nós mesmos o construímos. Digite um endereço, inicie a análise e abra o relatório. Dois lugares importam aqui:

  • Aba Preparação para IA, “Verificações para agentes de IA”: o ponto “Controlar os bots de IA” mostra quantos crawlers de IA têm uma regra explícita, quantos estão permitidos e quantos estão bloqueados, e nomeia os bloqueados. Ele conhece o ClaudeBot, o Claude-User e o Claude-SearchBot pelo nome. O ClaudeBot conta como bot de treinamento e o Claude-SearchBot como bot de busca, e o ponto só é cumprido quando o treinamento e a busca têm, cada um, uma regra explícita. Uma regra só para o Claude-User não resolve nenhum dos dois.
  • Aba Tarefas, “Rastreadores de IA permitidos, mas recusados pelo servidor — verificar”: o SEOgrinder testa como o servidor responde a quatro nomes de bot fixos, apenas aos que o robots.txt permite, e compara com um navegador. Dos bots da Anthropic, só o ClaudeBot está entre eles, e o teste usa apenas o nome.

Clique em Copiar prompt do agente em um ponto para obter uma instrução para o seu assistente de código e em Verificar de novo depois de uma mudança. O SEOgrinder não lê o log do seu servidor e não mede se o Claude cita o seu site.

Erros comuns

  • Bloquear o ClaudeBot para sair da busca do Claude. Para o ClaudeBot, a Anthropic nomeia a exclusão do treinamento. Os efeitos sobre a busca são nomeados para os outros dois bots.
  • Bloquear os três por precaução. Para o Claude-User e o Claude-SearchBot, a Anthropic diz que a visibilidade pode cair.
  • Bloquear por endereço IP em vez de no robots.txt. A Anthropic diz que isso pode não funcionar.
  • Corrigir só o domínio principal. A Anthropic pede a regra em cada subdomínio que você quer excluir.
  • Criar um grupo para um bot e perder as regras compartilhadas. O grupo próprio substitui o grupo *.
  • Ler um bot permitido como uma citação. Permitir um bot remove um obstáculo e não promete nenhuma menção.

Perguntas frequentes

Posso fazer o Claude citar a minha página?

Não. Ninguém pode forçar uma citação, e a página da Anthropic não descreve nenhuma configuração que provoque uma. Você pode remover obstáculos para que os bots dela consigam ler as suas páginas. Se o Claude as cita, a decisão é dele.

Bloquear o ClaudeBot me tira da busca do Claude?

A página da Anthropic não diz isso. Para o ClaudeBot, ela nomeia a exclusão do material futuro dos conjuntos de dados de treinamento. Os efeitos sobre a busca que ela nomeia pertencem ao Claude-User e ao Claude-SearchBot.

O SEOgrinder mostra se o Claude cita o meu site?

Não. Ele verifica a base técnica: se os sistemas de IA conseguem acessar e ler a página.

Seu próximo passo

Abra o seu robots.txt e procure por ClaudeBot, Claude-User e Claude-SearchBot. Decida cada um de propósito: a busca e as buscas a pedido do usuário de um lado, o treinamento do outro. Se você tem subdomínios, confira cada arquivo. Depois, faça a verificação gratuita no SEOgrinder, abra as abas Preparação para IA e Tarefas e corrija o que estiver em aberto.

Leia também

Mais artigos do blog