robots.txt para crawlers de IA: permitir ou bloquear GPTBot, ClaudeBot e PerplexityBot

Por SEOgrinder · Publicado em 4 de novembro de 2026 · 9 min de leitura

Resposta curta: Um robots.txt para crawlers de IA define, bot por bot, se um sistema de IA pode ler o seu site. Existem três tipos de bots: os de treinamento (GPTBot, ClaudeBot), os de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e os que buscam uma página porque um usuário pediu (ChatGPT-User, Claude-User). Se você quer poder ser citado nas respostas de busca com IA, permita os bots de busca. Permitir ou não o treinamento é decisão sua. Um arquivo pequeno resolve tudo isso, mas um pequeno erro na estrutura deixa as regras sem efeito.

Por que o robots.txt para crawlers de IA é mais do que uma regra

Antigamente, User-agent: * bastava. Com IA, isso é genérico demais, porque a mesma empresa opera bots diferentes para tarefas diferentes. A própria OpenAI diz isso: cada configuração é independente das outras. Você pode permitir o OAI-SearchBot, para que o seu site possa aparecer nos resultados de busca do ChatGPT, e bloquear o GPTBot, para que o seu conteúdo não seja destinado ao treinamento dos modelos de base da OpenAI (OpenAI).

Isso quer dizer que bloquear apenas o GPTBot, na esperança de sumir do ChatGPT, faz algo diferente do que você espera. E bloquear tudo por precaução também deixa de fora os bots que poderiam citar você nas respostas.

Os três tipos de crawlers de IA

Crawler (ou rastreador) é o programa que percorre as páginas de um site. Os de IA se dividem assim:

Tipo	Bots	O que acontece se você bloquear
Treinamento	GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google)	Você sinaliza que o seu conteúdo não deve ser usado para treinamento. O Google Search não é afetado
Busca	OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity)	O seu site deixa de aparecer, ou aparece menos, nas respostas de busca desse serviço
A pedido de um usuário	ChatGPT-User (OpenAI), Claude-User (Anthropic)	Na OpenAI, as regras do robots.txt podem não valer, porque uma pessoa fez o pedido. A Anthropic diz que você pode controlar o Claude-User e que bloqueá-lo pode reduzir a visibilidade na busca dirigida pelo usuário

O que os próprios operadores escrevem, em resumo:

OpenAI: sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, mas ainda podem aparecer como links de navegação. Depois de uma mudança no robots.txt, os sistemas levam cerca de 24 horas para se ajustar.
Anthropic: restringir o ClaudeBot sinaliza que o material futuro deve ser excluído dos conjuntos de dados de treinamento. Se você desativar o Claude-SearchBot ou o Claude-User, a sua visibilidade nos resultados de busca pode cair. A Anthropic respeita o robots.txt, não contorna CAPTCHAs e aceita a linha não padronizada Crawl-delay (Anthropic).
Perplexity: o PerplexityBot foi feito para exibir e linkar sites nos resultados de busca da Perplexity. Ele não é usado para coletar conteúdo para modelos de base, e a Perplexity recomenda permiti-lo (Perplexity).
Google: o Google-Extended não é um bot separado, e sim um token no robots.txt. Ele controla se o conteúdo rastreado pelo Google pode ser usado para treinar os futuros modelos Gemini e para grounding. Ele não afeta a inclusão no Google Search e não é um sinal de ranking (Google).

Os operadores mudam as suas listas. Consulte essas páginas antes de copiar uma regra.

Três exemplos para adaptar

1. Permitir tudo e manter fechada apenas a API interna. É a abordagem do próprio seogrinder.com: um grupo com várias linhas User-agent acima de um único conjunto de regras.

User-agent: *
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Disallow: /api/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

2. Permitir a busca e recusar o treinamento.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Esta é uma escolha do dono do site, não uma recomendação. Se você quer que o seu conteúdo seja usado da forma mais ampla possível, fique com o exemplo 1. Note que o Google-Extended cobre também o grounding nos Gemini Apps e no Vertex AI, não só o treinamento. Ele não afeta o Google Search nem as AI Overviews (as visões gerais de IA do Google).

3. Recusar todos os bots de IA. Coloque Disallow: / sob cada bot listado acima. Você passará a aparecer menos, ou a não aparecer, nas respostas de busca do ChatGPT, do Claude e da Perplexity (links de navegação e acessos a pedido de um usuário continuam possíveis). As AI Overviews do Google são controladas pelo Googlebot, não por esses identificadores. Só faz sentido se for isso mesmo que você quer.

A armadilha: o grupo próprio de um bot substitui o grupo com `*`

Segundo a RFC 9309, um crawler segue o grupo que corresponde ao seu nome. Se ele tem um grupo próprio, o grupo com * não vale para ele (RFC 9309).

Um exemplo: em User-agent: * você tem Disallow: /interno/. Mais tarde, cria um grupo separado para o GPTBot que contém apenas Allow: /. Agora /interno/ deixou de ser proibido para o GPTBot. Repita as regras em cada grupo ou coloque várias linhas User-agent acima do mesmo conjunto de regras, como nos exemplos acima.

Outras duas regras da mesma especificação ajudam quando há conflito: vale a correspondência mais específica (o caminho mais longo) e, se Allow e Disallow têm o mesmo tamanho, vale o Allow.

Uma linha opcional que declara como o conteúdo pode ser usado: Content-Signal

Além de permitir e bloquear, existe uma linha opcional que a Cloudflare introduziu em setembro de 2025. Ela declara para que o seu conteúdo pode ser usado:

Content-Signal: search=yes, ai-input=yes, ai-train=no

search cobre índices de busca e snippets, ai-input cobre o uso direto do conteúdo em respostas de IA e ai-train cobre o treinamento. É uma declaração, não um cadeado: o cumprimento é voluntário. A Cloudflare diz que os content signals expressam preferências, que não são contramedidas técnicas e que algumas empresas podem simplesmente ignorá-los (Cloudflare).

Também há trabalho em andamento em padrões. A documentação dos crawlers do Google informa que o Google pretende suportar, no início de 2027, o AIPREF, um sinal comum e legível por máquina de preferência de treinamento, escrito como user-agent: __usage_ai-training (Google). Até lá, o Google-Extended continua sendo a chave para o treinamento do Gemini e para o grounding.

O robots.txt não é proteção de acesso

A especificação diz com todas as letras: o protocolo não substitui medidas de segurança de verdade, e os caminhos listados no robots.txt são visíveis para todos. Um bot que ignora as regras não é detido pelo seu arquivo. Para conteúdo que não pode ser público, use login ou regras de firewall. A Anthropic também alerta que bloquear por endereço IP pode não funcionar como opt-out, porque isso impede o bot de ler o seu robots.txt logo de início.

Como verificar o seu robots.txt para crawlers de IA

Abra https://www.example.com/robots.txt (com o endereço do seu site) no navegador. Cada subdomínio tem o seu próprio arquivo.
Abra o SEOgrinder, digite o seu endereço e inicie a análise. Não é preciso ter conta.
Vá para a aba Preparação para IA e procure, em “Verificações para agentes de IA”, o ponto “Controlar os bots de IA”. Se o ponto estiver cumprido, a linha informa quantos crawlers de IA estão regulados, quantos estão permitidos e quantos estão bloqueados. Se estiver em aberto, não foi encontrada nenhuma regra explícita para treinamento e busca.
Um ponto cumprido pode ser expandido: ele mostra o texto que foi encontrado no seu arquivo.
Clique em Copiar prompt do agente e cole o texto no seu assistente de código. Se faltar uma regra, o prompt descreve o que acrescentar; se ela existir, o prompt pede ao assistente que a revise e altere só o que estiver errado. Permitir ou bloquear continua sendo decisão do dono do site.
Depois da mudança, clique em Verificar de novo. Os relatórios ficam em cache por até 24 horas; esse botão força uma execução nova (algumas vezes por hora).

Conte com cerca de um dia até que os sistemas da OpenAI e da Perplexity apliquem as novas regras.

Como reconhecer visitas reais: logs e faixas de IP

Se um bot realmente visita o seu site, isso aparece nos logs do servidor, no user agent. Como qualquer um pode se chamar de GPTBot, os operadores publicam faixas de IP para comparação: a OpenAI as lista para cada bot em um arquivo JSON, por exemplo openai.com/gptbot.json, e a Anthropic aponta para uma lista própria. Se uma visita não vem dessas faixas, muito provavelmente ela não é desse operador, mesmo que o nome combine. Isso é útil se você quer analisar visitas ou barrar bots falsos em um firewall. Lembre-se do aviso da Anthropic: não bloqueie os bots verdadeiros por endereço IP, ou eles não conseguirão mais ler o seu robots.txt.

Erros comuns

Deixar Disallow: / ativo para todos. Um site de testes vai ao ar com o bloqueio do ambiente de testes ainda no robots.txt. Verifique isso a cada lançamento.
Bloquear só o GPTBot para sair do ChatGPT. Isso controla o treinamento, não a busca.
Uma linha em branco dentro de um grupo. Alguns parsers, como o robotparser do Python, descartam então os nomes que estão acima dela. Mantenha as linhas User-agent juntas, sem linha em branco entre elas.
Uma linha Sitemap relativa. Escreva o endereço completo, com https://.
O arquivo no lugar errado. Ele precisa estar na raiz: /robots.txt, não em uma subpasta.
Esperar demais do Content-Signal e do llms.txt. Os dois são opcionais, e um efeito no ranking ou nas citações não está comprovado. Sobre o segundo, veja llms.txt: o que é, como criar e se ele realmente funciona.

Perguntas frequentes

Devo permitir os crawlers de IA?

Depende do seu objetivo. Se você quer poder ser citado nas respostas de busca com IA, permita os bots de busca. Permitir ou recusar o treinamento é uma decisão de negócio, e você pode configurar as duas coisas separadamente.

Vou desaparecer do Google se eu bloquear o Google-Extended?

Não. O Google diz que o Google-Extended não afeta a inclusão no Google Search e não é um sinal de ranking.

Em quanto tempo uma mudança passa a valer?

A OpenAI e a Perplexity citam até cerca de 24 horas depois da alteração do seu robots.txt.

O llms.txt é a mesma coisa que o robots.txt?

Não. O robots.txt controla o acesso. O llms.txt é um arquivo proposto, com um resumo do seu site para modelos de linguagem. Segundo relatos de segunda mão, o Google não o suporta (Search Engine Roundtable). Um efeito não está comprovado.

Posso definir regras diferentes para pastas diferentes?

Pode. Dentro de um grupo, você define Disallow e Allow por caminho. A correspondência mais específica vence.

Seu próximo passo

Abra o seu robots.txt e confirme que você não bloqueou os bots de busca por engano. Depois, faça a verificação gratuita e veja se “Controlar os bots de IA” aparece como cumprido na aba Preparação para IA, o que significa que treinamento e busca têm, cada um, uma regra explícita. Se a regra permite ou bloqueia, isso aparece na constatação.