Comprueba qué bots de IA pueden rastrear tu sitio

Escribe tu dominio. Leemos tu robots.txt y te mostramos qué crawlers de IA, como GPTBot, ClaudeBot y PerplexityBot, están permitidos o bloqueados. Gratis y sin registro.

Gratis · 60 revisiones al día · solo leemos el robots.txt, sin IA

Qué muestra el verificador de robots.txt

Una línea antigua de Disallow puede dejarte fuera de la búsqueda con IA sin que nadie lo note. Mira un ejemplo con brightlane.com, una marca ficticia de software de facturación que bloquea el entrenamiento de IA, pero no la búsqueda con IA.

brightlane.comrobots.txt · 412 bytes · 16 de nov. robots.txt leído

22 de 28 bots de IA pueden acceder a /

BotEstadoRegla aplicada
GPTBotEntrenamiento de IA Bloqueado Disallow: /
OAI-SearchBotBúsqueda con IA Permitido Ninguna regla coincide
ClaudeBotEntrenamiento de IA Bloqueado Disallow: /
PerplexityBotBúsqueda con IA Permitido Ninguna regla coincide
  1. 1

    Una línea por bot

    Permitido, bloqueado en parte o bloqueado, para la ruta exacta que escribiste, con la finalidad de cada bot.

  2. 2

    La regla aplicada

    La línea del robots.txt que vale para ese bot, con su número de línea, para que sepas qué editar.

  3. 3

    Agrupado por finalidad

    Bots de entrenamiento, de búsqueda con IA y activados por el usuario, para que bloquees un tipo y mantengas los demás.

Cómo revisar el robots.txt de tu sitio para la IA

Leemos un archivo público y aplicamos el Robots Exclusion Protocol igual que lo hacen los bots.

  1. 1

    Escribe un dominio o una URL

    Con un dominio revisamos la página de inicio; con una URL completa, esa ruta, como /blog/articulo.

    brightlane.com/blog
  2. 2

    Descargamos el robots.txt

    Como BrisanoBot, desde https://dominio/robots.txt, siguiendo hasta cinco redirecciones, como indica la RFC 9309.

    GET /robots.txt · 200
  3. 3

    Probamos cada bot

    Usamos el grupo User-agent del bot, si existe; si no, el “*”. Vale la regla más larga que coincide.

    User-agent: GPTBot
  4. 4

    Ves quién entra

    Todos los bots de nuestro directorio, con su estado, la línea aplicada y la finalidad de cada uno.

    Permitido Bloqueado

Qué hacer con el resultado

Bloquear o no es una decisión de negocio. Estas son las tres situaciones más habituales.

Todos permitidos Entrenamiento de IA Búsqueda con IA A petición del usuario

Todos los bots de IA pueden entrar

Los bots de búsqueda pueden indexar tu sitio y los de entrenamiento pueden recoger tus páginas.

Qué hacer: Si el entrenamiento no te molesta, no hace falta hacer nada. Si te molesta, bloquea los bots de entrenamiento y deja los de búsqueda.

Ver todos los bots de IA
Mixto Entrenamiento de IA Búsqueda con IA A petición del usuario

Entrenamiento bloqueado, búsqueda permitida

El punto medio más habitual: GPTBot o ClaudeBot bloqueados, OAI-SearchBot y PerplexityBot permitidos.

Qué hacer: Comprueba que los bots de búsqueda que te importan estén permitidos y mide si los motores de IA citan tus páginas.

Sigue las respuestas de ChatGPT
Todos bloqueados Entrenamiento de IA Búsqueda con IA A petición del usuario

Bots de búsqueda con IA bloqueados

OAI-SearchBot, PerplexityBot o Claude-SearchBot no pueden acceder a tus páginas, así que sus respuestas no pueden citarlas.

Qué hacer: Si no fue a propósito, quita la regla o el Disallow en “User-agent: *” y vuelve a revisar.

GPTBot: user agent y reglas

Reglas de robots.txt para bots de IA

Tres opciones habituales. Pega el bloque en tu robots.txt y vuelve a revisar.

Bloquear el entrenamiento, seguir en la búsqueda con IA

Los bots de entrenamiento y los tokens de control quedan bloqueados. Los de búsqueda y los activados por el usuario siguen entrando, así que los motores de IA aún pueden citar tus páginas.

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Permitir todos los bots de IA

Todos los bots de IA de nuestro directorio pueden acceder a todo. Es lo mismo que no tener reglas para ellos.

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Allow: /

Bloquear todos los bots de IA

Disallow: / para todos los bots de IA de nuestro directorio, salvo Googlebot (también alimenta la Búsqueda de Google).

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Disallow: /

Bots de entrenamiento, de búsqueda y de usuario: cuáles permitir

GPTBot es el crawler de OpenAI que recoge páginas que pueden usarse para entrenar sus modelos. OpenAI tiene dos más: OAI-SearchBot, que muestra sitios en la búsqueda de ChatGPT, y ChatGPT-User, que abre una página cuando alguien lo pide. Cada uno sigue su propia regla en robots.txt (OpenAI, “Overview of OpenAI crawlers”, consultado el 18 de noviembre de 2026).

Hoy la mayoría de las empresas de IA separan sus bots de la misma forma: uno para entrenamiento, otro para búsqueda y otro para las peticiones de los usuarios. Bloquear el de entrenamiento no bloquea el de búsqueda, y es el de búsqueda el que permite que las respuestas citen tus páginas.

El robots.txt es una petición, no un muro. Las empresas de abajo dicen que sus bots lo siguen, y algunas advierten que las reglas pueden no aplicarse a los accesos que pide un usuario. Los firewalls y las CDN también bloquean bots, y eso no aparece en el robots.txt. Mira también GPTBot, ClaudeBot y la lista de bots de IA.

Tres tipos de bot de IA
Entrenamiento de IA
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento. GPTBot, ClaudeBot, Google-Extended
Búsqueda con IA
Crean el índice que los motores de IA consultan y citan en sus respuestas. Bloquearlos puede dejarte fuera de esas respuestas. OAI-SearchBot, PerplexityBot, Claude-SearchBot
A petición del usuario
Abren una página cuando alguien lo pide. Las empresas advierten que el robots.txt puede no aplicarse siempre. ChatGPT-User, Claude-User, Perplexity-User

Preguntas sobre el verificador de bots de IA

robots.txt, GPTBot y los demás bots de IA.

¿Cómo sé si GPTBot está bloqueado en mi sitio?

Escribe tu dominio arriba. El verificador lee tu robots.txt y muestra si GPTBot, y cada uno de los demás bots de IA de nuestro directorio, está permitido o bloqueado en esa ruta, con la línea que lo decide.

¿Cómo bloqueo GPTBot o ClaudeBot en robots.txt?

Crea un grupo para cada bot: “User-agent: GPTBot” y, en la línea siguiente, “Disallow: /”. O copia uno de los conjuntos de reglas de esta página: bloquear solo el entrenamiento o bloquear todos los bots de IA.

Si bloqueo GPTBot, ¿desaparezco de ChatGPT?

De la búsqueda de ChatGPT, no. Según OpenAI, GPTBot es para entrenamiento, el que muestra sitios en la búsqueda de ChatGPT es OAI-SearchBot, y cada regla es independiente (OpenAI, “Overview of OpenAI crawlers”, consultado el 18 de noviembre de 2026). Bloquea GPTBot y deja OAI-SearchBot para quedar fuera del entrenamiento y dentro de la búsqueda.

¿Bloquear Google-Extended me saca de Google?

No. Google dice que Google-Extended no afecta a la inclusión de un sitio en la Búsqueda de Google y no se usa como señal de posicionamiento (Google Search Central, “Rastreadores comunes de Google”, consultado el 18 de noviembre de 2026). Solo controla si Google puede usar tus páginas en algunos productos de IA, como Gemini.

¿Por qué sale “permitido” si los bots no llegan a mi sitio?

El robots.txt es solo una capa. Un firewall, la protección contra bots de la CDN o una pantalla de inicio de sesión pueden frenar a los bots, diga lo que diga el robots.txt. El verificador solo lee el robots.txt.

¿Puedo ver cuándo me visitan los bots de IA?

No. El verificador lee el robots.txt, es decir, las reglas, no las visitas. Las visitas de los bots de IA aparecen en los registros de tu servidor o en el panel de tu CDN.

¿Este verificador usa IA?

No. Lee un archivo público y aplica el Robots Exclusion Protocol (RFC 9309). Es gratis, con 60 revisiones al día, y el resultado queda disponible 24 horas en un enlace para compartir.

Los archivos son el comienzo. Lo que importa son las respuestas.

Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.