robots.txt para IA: permitir o bloquear GPTBot, ClaudeBot y PerplexityBot

Por SEOgrinder · Publicado 4 de noviembre de 2026 · 8 min de lectura

Respuesta corta: Un robots.txt para IA decide, bot por bot, si un sistema de inteligencia artificial puede leer tu sitio web. Hay tres tipos de bots: los de entrenamiento (GPTBot, ClaudeBot), los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y los que acceden a una página porque un usuario lo pide (ChatGPT-User, Claude-User). Si quieres poder aparecer citado en las respuestas de búsqueda con IA, permite los bots de búsqueda. Permitir o no el entrenamiento lo decides tú. Basta un archivo pequeño para regularlo, pero un error pequeño en su estructura deja las reglas sin efecto.

Por qué el robots.txt para IA es más que una sola regla

Antes bastaba con User-agent: *. Con la IA se queda corto, porque una misma empresa usa bots distintos para tareas distintas. OpenAI lo dice expresamente: cada ajuste es independiente de los demás. Puedes permitir OAI-SearchBot para que tu sitio pueda aparecer en los resultados de búsqueda de ChatGPT y, a la vez, bloquear GPTBot para que tu contenido no se destine al entrenamiento de los modelos base de OpenAI (OpenAI).

Esto tiene una consecuencia práctica: quien bloquea solo GPTBot con la esperanza de desaparecer de ChatGPT consigue algo distinto de lo que busca. Y quien cierra la puerta a cualquier bot por precaución deja fuera también a los que podrían citarlo en sus respuestas.

Los tres tipos de rastreadores de IA

Tipo	Bots	Qué ocurre si los bloqueas
Entrenamiento	GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google)	Indicas que tu contenido no debe usarse para entrenar modelos. La Búsqueda de Google no se ve afectada
Búsqueda	OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity)	Tu sitio no aparece, o aparece menos, en las respuestas de búsqueda de ese servicio
A petición de un usuario	ChatGPT-User (OpenAI), Claude-User (Anthropic)	En OpenAI, las reglas del robots.txt pueden no aplicarse, porque lo pide una persona. Anthropic dice que puedes controlar Claude-User y que bloquearlo puede reducir la visibilidad en la búsqueda dirigida por el usuario

Lo que dicen los propios operadores, en resumen:

OpenAI: los sitios que excluyen a OAI-SearchBot no aparecen en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación. Después de un cambio en el robots.txt pueden pasar unas 24 horas hasta que los sistemas se ajustan.
Anthropic: si restringes ClaudeBot, indicas que el material futuro debe quedar fuera de los conjuntos de datos de entrenamiento. Si desactivas Claude-SearchBot o Claude-User, tu visibilidad en los resultados de búsqueda puede disminuir. Anthropic respeta el robots.txt, no esquiva los CAPTCHA y admite la línea no estándar Crawl-delay (Anthropic).
Perplexity: PerplexityBot está pensado para mostrar y enlazar sitios web en los resultados de búsqueda de Perplexity. No se usa para rastrear contenido con el que entrenar modelos base, y Perplexity recomienda permitirlo (Perplexity).
Google: Google-Extended no es un bot aparte, sino un token del robots.txt. Controla si el contenido que Google rastrea puede usarse para entrenar los futuros modelos de Gemini y para el grounding. No afecta a la inclusión en la Búsqueda de Google ni es una señal de posicionamiento (Google).

Los operadores modifican sus listas. Consulta estas páginas antes de copiar una regla.

Tres ejemplos que puedes adaptar

1. Permitir el acceso completo y dejar cerrada solo la API interna. Es el enfoque del propio seogrinder.com: un solo grupo con varias líneas User-agent encima de un único conjunto de reglas.

User-agent: *
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Disallow: /api/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

2. Permitir la búsqueda y rechazar el entrenamiento.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Esta es una decisión del propietario del sitio, no una recomendación. Si quieres que tu contenido se use de la forma más amplia posible, elige el ejemplo 1. Ten en cuenta que Google-Extended abarca, además del entrenamiento, el grounding en las apps de Gemini y en Vertex AI. No afecta a la Búsqueda de Google ni a las Vistas creadas con IA (AI Overviews).

3. Rechazar todos los bots de IA. Pon Disallow: / bajo cada uno de los bots indicados arriba. Aparecerás menos, o dejarás de aparecer, en las respuestas de búsqueda de ChatGPT, Claude y Perplexity (los enlaces de navegación y los accesos a petición de un usuario siguen siendo posibles). Las Vistas creadas con IA de Google se controlan a través de Googlebot, no con estos identificadores. Solo tiene sentido si es justo lo que quieres.

La trampa: el grupo propio de un bot sustituye al grupo `*`

Según el RFC 9309, un rastreador sigue el grupo que coincide con su nombre. Si tiene un grupo propio, el grupo * no se aplica a ese rastreador (RFC 9309).

Un ejemplo: bajo User-agent: * tienes Disallow: /interno/. Más adelante añades un grupo aparte para GPTBot que contiene solo Allow: /. Ahora /interno/ ya no está vedado para GPTBot. Repite las reglas en cada grupo, o pon varias líneas User-agent encima del mismo conjunto de reglas, como en los ejemplos de arriba.

Otras dos reglas de la misma especificación ayudan cuando hay conflictos: gana la coincidencia más específica (la ruta más larga) y, si Allow y Disallow tienen la misma longitud, se aplica Allow.

Una línea opcional que indica cómo puede usarse tu contenido: Content-Signal

Además de permitir y bloquear, existe una línea opcional que Cloudflare presentó en septiembre de 2025. Indica para qué puede usarse tu contenido:

Content-Signal: search=yes, ai-input=yes, ai-train=no

search se refiere a los índices de búsqueda y los snippets, ai-input al uso directo del contenido en respuestas de IA y ai-train al entrenamiento. Es una declaración, no un candado: cumplirla es voluntario. Cloudflare explica que las señales de contenido expresan preferencias, que no son contramedidas técnicas y que algunas empresas podrían simplemente ignorarlas (Cloudflare).

También se trabaja en estándares. La documentación de rastreadores de Google señala que Google tiene previsto admitir a principios de 2027 la señal común y legible por máquina AIPREF para las preferencias de entrenamiento, que se escribe como user-agent: __usage_ai-training (Google). Hasta entonces, Google-Extended sigue siendo el interruptor para el entrenamiento y el grounding de Gemini.

El robots.txt no es una medida de seguridad

La especificación lo dice con claridad: el protocolo no sustituye a medidas de seguridad reales, y las rutas que aparecen en el robots.txt las puede ver cualquiera. Un bot que ignora las reglas no se detiene por tu archivo. Para el contenido que no debe ser público necesitas un inicio de sesión o reglas de firewall. Anthropic advierte además de que bloquear por dirección IP puede no funcionar como exclusión voluntaria (opt-out), porque así su bot ni siquiera puede leer tu robots.txt.

Cómo comprobar tu robots.txt para IA

Abre https://tusitio.com/robots.txt en el navegador. Cada subdominio tiene su propio archivo.
Abre SEOgrinder, introduce tu dirección e inicia el análisis. No necesitas cuenta.
Ve a la pestaña Preparación para la IA y busca «Controlar los bots de IA» dentro de «Comprobaciones para agentes de IA». Si el punto está cumplido, la línea indica cuántos rastreadores de IA están regulados, cuántos permitidos y cuántos bloqueados. Si está abierto, no se encontró ninguna regla explícita para el entrenamiento ni para la búsqueda.
Un punto cumplido se puede desplegar: muestra el texto que se encontró en tu archivo.
Pulsa Copiar prompt del agente y pégalo en tu asistente de programación. Si el punto está abierto, el prompt describe qué debe añadirse; si ya existe una regla, pide al asistente que la revise y cambie solo lo que esté mal. Permitir o bloquear sigue siendo decisión del propietario.
Después del cambio, pulsa Comprobar de nuevo. Los informes se guardan hasta 24 horas en la caché; este botón fuerza un análisis nuevo (unas pocas veces por hora).

Calcula alrededor de un día hasta que los sistemas de OpenAI y Perplexity apliquen las reglas nuevas.

Cómo reconocer visitas reales: registros y rangos de IP

Si un bot visita de verdad tu sitio, lo verás en los registros del servidor, en el user agent. Como cualquiera puede hacerse pasar por GPTBot, los operadores publican rangos de IP para contrastar: OpenAI los ofrece para cada bot como archivo JSON, por ejemplo openai.com/gptbot.json, y Anthropic remite a una lista propia. Si una visita no procede de esos rangos, es muy probable que no sea de ese operador, aunque el nombre coincida. Esto es útil si quieres analizar las visitas o detectar bots falsos en un firewall. Ten presente la advertencia de Anthropic: no bloquees a los bots reales por su dirección IP, o ya no podrán leer tu robots.txt.

Errores frecuentes

Dejar Disallow: / para todos. Un sitio de pruebas sale a producción con el bloqueo del entorno de pruebas todavía en el robots.txt. Revísalo en cada lanzamiento.
Bloquear solo GPTBot para salir de ChatGPT. Eso regula el entrenamiento, no la búsqueda.
Una línea en blanco dentro de un grupo. Algunos analizadores, como el robotparser de Python, descartan entonces los nombres que están encima. Mantén las líneas User-agent juntas, sin huecos.
Una línea Sitemap relativa. Escribe la dirección completa con https://.
El archivo en el lugar equivocado. Tiene que estar en la raíz: /robots.txt, no en una subcarpeta.
Esperar demasiado de Content-Signal y de llms.txt. Ambos son opcionales y no está demostrado que tengan efecto en el posicionamiento ni en las citas.

Preguntas frecuentes

¿Debo permitir los rastreadores de IA?

Depende de tu objetivo. Si quieres poder aparecer citado en las respuestas de búsqueda con IA, permite los bots de búsqueda. Permitir o rechazar el entrenamiento es una decisión de negocio, y puedes ajustar ambas cosas por separado.

¿Desapareceré de Google si bloqueo Google-Extended?

No. Google afirma que Google-Extended no afecta a la inclusión en la Búsqueda de Google y que no es una señal de posicionamiento.

¿Con qué rapidez surte efecto un cambio?

OpenAI y Perplexity mencionan ambas hasta unas 24 horas después de que cambies tu robots.txt.

¿Es llms.txt lo mismo que robots.txt?

No. El robots.txt controla el acceso. El llms.txt es un archivo propuesto que resume tu sitio para los modelos de lenguaje; lo explicamos en llms.txt: qué es, cómo crearlo y si de verdad funciona. Según informes de segunda mano, Google no lo admite (Search Engine Roundtable). No está demostrado que tenga efecto.

¿Puedo fijar reglas distintas para carpetas distintas?

Sí. Dentro de un grupo puedes establecer Disallow y Allow para cada ruta. Gana la coincidencia más específica.

Tu siguiente paso

Abre tu robots.txt y comprueba que no hayas bloqueado los bots de búsqueda por descuido. Después haz el análisis gratuito y mira si «Controlar los bots de IA» aparece como cumplido en Preparación para la IA, es decir, si el entrenamiento y la búsqueda tienen cada uno una regla explícita. Si esa regla permite o bloquea, lo muestra el resultado.