Directorio de bots y crawlers de IA

28 bots de IA de OpenAI, Anthropic, Google, Perplexity y otras empresas: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.

Comprobado con la documentación de cada empresa el 17 de nov. de 2026

Bot Para qué sirve robots.txt Token en robots.txt
GPTBotOpenAI Entrenamiento de IA Sigue el robots.txt GPTBot
OAI-SearchBotOpenAI Búsqueda con IA Sigue el robots.txt OAI-SearchBot
ChatGPT-UserOpenAI A petición del usuario Puede ignorar el robots.txt ChatGPT-User
OAI-AdsBotOpenAI Otro No documentado OAI-AdsBot
ClaudeBotAnthropic Entrenamiento de IA Sigue el robots.txt ClaudeBot
Claude-SearchBotAnthropic Búsqueda con IA Sigue el robots.txt Claude-SearchBot
Claude-UserAnthropic A petición del usuario Sigue el robots.txt Claude-User
GooglebotGoogle Búsqueda con IA Sigue el robots.txt Googlebot
Google-ExtendedGoogle Entrenamiento de IA Solo token de control Google-Extended
Google-CloudVertexBotGoogle Otro Sigue el robots.txt Google-CloudVertexBot
Google-GeminiNotebookGoogle A petición del usuario Puede ignorar el robots.txt Google-GeminiNotebook
Google-AgentGoogle A petición del usuario Puede ignorar el robots.txt Google-Agent
ApplebotApple Búsqueda con IA Sigue el robots.txt Applebot
Applebot-ExtendedApple Entrenamiento de IA Solo token de control Applebot-Extended
PerplexityBotPerplexity Búsqueda con IA Sigue el robots.txt PerplexityBot
Perplexity-UserPerplexity A petición del usuario Puede ignorar el robots.txt Perplexity-User
Meta-ExternalAgentMeta Entrenamiento de IA Sigue el robots.txt meta-externalagent
Meta-WebIndexerMeta Búsqueda con IA Sigue el robots.txt meta-webindexer
Meta-ExternalFetcherMeta A petición del usuario Puede ignorar el robots.txt meta-externalfetcher
AmazonbotAmazon Entrenamiento de IA Sigue el robots.txt Amazonbot
Amzn-SearchBotAmazon Búsqueda con IA Sigue el robots.txt Amzn-SearchBot
Amzn-UserAmazon A petición del usuario Puede ignorar el robots.txt Amzn-User
MistralAI-TrainingMistral AI Entrenamiento de IA Sigue el robots.txt MistralAI-Training
MistralAI-IndexMistral AI Búsqueda con IA No documentado MistralAI-Index
MistralAI-UserMistral AI A petición del usuario Sigue el robots.txt MistralAI-User
CCBotCommon Crawl Entrenamiento de IA Sigue el robots.txt CCBot
DuckAssistBotDuckDuckGo Búsqueda con IA Sigue el robots.txt DuckAssistBot
AI2BotAi2 Entrenamiento de IA No documentado AI2Bot

Bots de entrenamiento, de búsqueda y a petición del usuario

La mayoría de las empresas de IA usan bots separados. Bloquea el tipo que no quieres y deja los demás.

GPTBot ClaudeBot Google-Extended

Entrenamiento de IA

Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.

9 bots
OAI-SearchBot Claude-SearchBot Googlebot

Búsqueda con IA

Crean el índice que los motores de IA consultan y citan en sus respuestas. Bloquearlos puede dejarte fuera de esas respuestas.

9 bots
ChatGPT-User Claude-User Google-GeminiNotebook

A petición del usuario

Abren una página cuando alguien lo pide. Las empresas advierten que el robots.txt puede no aplicarse siempre.

8 bots

Qué bot usa cada motor de IA para leer tu sitio

Cada motor de IA lee la web con sus propios bots. Permitir los de búsqueda y los activados por el usuario deja que lea y cite tus páginas, pero no decide si la respuesta menciona tu marca: eso solo se ve midiendo tu visibilidad en IA.

Solo se incluyen bots con fuente oficial. ¿Está funcionando? Mira si ChatGPT, Gemini y otros seis motores de IA mencionan tu marca.

Bloquear el entrenamiento de IA, seguir en la búsqueda con IA

El conjunto de reglas que más buscan los sitios. Bloquea todos los bots de entrenamiento y tokens de control de este directorio y no toca los de búsqueda ni los activados por el usuario.

Comprueba qué bots de IA pueden rastrear tu sitio

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Preguntas sobre bots de IA

Qué son y cómo controlarlos.

¿Qué son los crawlers de IA?

Son bots de empresas de IA que acceden a páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice del que la búsqueda con IA saca las fuentes que cita (OAI-SearchBot, PerplexityBot) y otros abren una página cuando alguien lo pide (ChatGPT-User).

¿Cómo bloqueo los bots de IA?

Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot trae las reglas para bloquear y permitir, listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.

¿Los bots de IA respetan el robots.txt?

Las empresas de esta lista dicen que sus bots siguen el robots.txt. Varias advierten que los bots activados por el usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta la empresa.

¿Qué son Google-Extended y Applebot-Extended?

Tokens de control, no crawlers. Nunca visitan tu sitio; definen si las páginas que Googlebot o Applebot ya recogieron pueden usarse para entrenar IA (y, en el caso de Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.

¿Cómo compruebo que un acceso viene de verdad de un bot de IA?

Los user agents se pueden falsificar. La mayoría de las empresas publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP del acceso con ellos antes de fiarte del user agent.

¿Cada cuánto se actualiza esta lista?

Cada bot se comprueba con la documentación de su propia empresa, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente oficial no se incluyen.

¿Qué bots de IA debo permitir?

Si quieres que las búsquedas con IA lean y citen tus páginas, permite los bots de búsqueda y los activados por el usuario, como OAI-SearchBot, Claude-SearchBot, PerplexityBot y Googlebot. Según sus propias empresas, bloquear bots de entrenamiento como GPTBot o ClaudeBot no te saca de la búsqueda con IA. Permitir un bot deja que el motor de IA lea tus páginas; no hace que mencione tu marca.

¿Cómo veo qué bots de IA visitan mi sitio?

En los registros de tu servidor o de tu CDN: filtra los accesos por los tokens de user agent de esta lista y compara las IP con los rangos que publica cada empresa. Brisano no lee tus registros; el verificador de bots de IA muestra qué permite tu robots.txt.

Los archivos son el comienzo. Lo que importa son las respuestas.

Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.