¿Qué es AI2Bot? User agent y reglas de robots.txt

AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.

Entrenamiento de IA No documentado Ai2

User agent de AI2Bot

Según la documentación de Ai2. El número de versión cambia; identifícalo por el token.

User agent
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Reglas de robots.txt para AI2Bot

Pega uno de los bloques en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse. ¿No sabes qué hace tu archivo ahora? Usa el verificador de robots.txt para IA.

Bloquear AI2Bot

Bloquea todas las rutas para AI2Bot. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Ai2. Los resultados de búsqueda no cambian.

robots.txt
User-agent: AI2Bot
Disallow: /

Permitir AI2Bot

Permite a AI2Bot acceder a todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: AI2Bot
Allow: /

Conviene saber

La página de Ai2 no dice cómo lee el robots.txt; sugiere filtrar por el user agent.

Empresa Ai2
Para qué sirveEntrenamiento de IA
robots.txtNo documentado
Token en robots.txtAI2Bot
Rangos de IPNo publicados
Documentaciónallenai.org
¿AI2Bot puede acceder a tu sitio? Escribe tu dominio: leemos tu robots.txt y te mostramos el estado de AI2Bot.

Preguntas sobre AI2Bot

¿Qué es AI2Bot?

AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.

¿Cómo bloqueo AI2Bot?

Añade “User-agent: AI2Bot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Ai2. Los resultados de búsqueda no cambian.

¿AI2Bot respeta el robots.txt?

La documentación de Ai2 no lo indica. Bloquéalo en robots.txt y, si hace falta, en el firewall por sus IP publicadas.

¿Cuál es el user agent de AI2Bot?

Ai2 lo documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. El número de versión cambia, así que identifícalo por “AI2Bot”.

¿Cómo compruebo los accesos de AI2Bot?

Ai2 no publica una lista de IP para AI2Bot. Toma el user agent como un indicio, no como una prueba.

Fuente: allenai.org, comprobada el 17 de nov. de 2026. Directorio de bots y crawlers de IA

Los archivos son el comienzo. Lo que importa son las respuestas.

Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.