Entrenamiento de IA
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.
9 bots28 bots de IA de OpenAI, Anthropic, Google, Perplexity y otras empresas: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.
Comprobado con la documentación de cada empresa el 17 de nov. de 2026
| Bot | Para qué sirve |
|---|---|
| ChatGPT-UserOpenAI | A petición del usuario |
| Claude-UserAnthropic | A petición del usuario |
| Google-GeminiNotebookGoogle | A petición del usuario |
| Google-AgentGoogle | A petición del usuario |
| Perplexity-UserPerplexity | A petición del usuario |
| A petición del usuario | |
| A petición del usuario | |
| A petición del usuario |
La mayoría de las empresas de IA usan bots separados. Bloquea el tipo que no quieres y deja los demás.
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.
9 botsCrean el índice que los motores de IA consultan y citan en sus respuestas. Bloquearlos puede dejarte fuera de esas respuestas.
9 botsAbren una página cuando alguien lo pide. Las empresas advierten que el robots.txt puede no aplicarse siempre.
8 botsCada motor de IA lee la web con sus propios bots. Permitir los de búsqueda y los activados por el usuario deja que lea y cite tus páginas, pero no decide si la respuesta menciona tu marca: eso solo se ve midiendo tu visibilidad en IA.
Solo se incluyen bots con fuente oficial. ¿Está funcionando? Mira si ChatGPT, Gemini y otros seis motores de IA mencionan tu marca.
El conjunto de reglas que más buscan los sitios. Bloquea todos los bots de entrenamiento y tokens de control de este directorio y no toca los de búsqueda ni los activados por el usuario.
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot User-agent: AI2Bot Disallow: /
Qué son y cómo controlarlos.
Son bots de empresas de IA que acceden a páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice del que la búsqueda con IA saca las fuentes que cita (OAI-SearchBot, PerplexityBot) y otros abren una página cuando alguien lo pide (ChatGPT-User).
Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot trae las reglas para bloquear y permitir, listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.
Las empresas de esta lista dicen que sus bots siguen el robots.txt. Varias advierten que los bots activados por el usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta la empresa.
Tokens de control, no crawlers. Nunca visitan tu sitio; definen si las páginas que Googlebot o Applebot ya recogieron pueden usarse para entrenar IA (y, en el caso de Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.
Los user agents se pueden falsificar. La mayoría de las empresas publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP del acceso con ellos antes de fiarte del user agent.
Cada bot se comprueba con la documentación de su propia empresa, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente oficial no se incluyen.
Si quieres que las búsquedas con IA lean y citen tus páginas, permite los bots de búsqueda y los activados por el usuario, como OAI-SearchBot, Claude-SearchBot, PerplexityBot y Googlebot. Según sus propias empresas, bloquear bots de entrenamiento como GPTBot o ClaudeBot no te saca de la búsqueda con IA. Permitir un bot deja que el motor de IA lea tus páginas; no hace que mencione tu marca.
En los registros de tu servidor o de tu CDN: filtra los accesos por los tokens de user agent de esta lista y compara las IP con los rangos que publica cada empresa. Brisano no lee tus registros; el verificador de bots de IA muestra qué permite tu robots.txt.
Comprueba si GPTBot, ClaudeBot y otros bots pueden acceder a tu sitio.
Herramienta gratisComprueba si el llms.txt de cualquier sitio sigue el formato.
DirectorioUser agent y reglas de robots.txt de los bots de OpenAI.
SeguimientoMira si Perplexity te menciona y cita tu sitio.
Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.