O que é o AI2Bot? User agent e regras de robots.txt

O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.

Treinamento de IA Não documentado Ai2

User agent do AI2Bot

Conforme a documentação do Ai2. O número da versão muda; identifique pelo token.

User agent
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Regras de robots.txt para o AI2Bot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida. Não sabe o que o seu arquivo faz hoje? Use o verificador de robots.txt para IA.

Bloquear o AI2Bot

Bloqueia todos os caminhos para o AI2Bot. Assim, suas páginas futuras ficam fora dos dados de treinamento do Ai2. Os resultados de busca não mudam.

robots.txt
User-agent: AI2Bot
Disallow: /

Liberar o AI2Bot

Libera todos os caminhos para o AI2Bot, não importa o que diga o “User-agent: *”.

robots.txt
User-agent: AI2Bot
Allow: /

Bom saber

A página do Ai2 não diz como ele lê o robots.txt; ela sugere filtrar pelo user agent.

Empresa Ai2
Para que serveTreinamento de IA
robots.txtNão documentado
Token no robots.txtAI2Bot
Faixas de IPNão publicadas
Documentaçãoallenai.org
O AI2Bot consegue acessar seu site? Digite seu domínio: lemos o seu robots.txt e mostramos o status do AI2Bot.

Perguntas sobre o AI2Bot

O que é o AI2Bot?

O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.

Como bloqueio o AI2Bot?

Inclua “User-agent: AI2Bot” e “Disallow: /” no seu robots.txt. Assim, suas páginas futuras ficam fora dos dados de treinamento do Ai2. Os resultados de busca não mudam.

O AI2Bot respeita o robots.txt?

A documentação do Ai2 não informa. Bloqueie no robots.txt e, se precisar, no firewall, pelos IPs publicados.

Qual é o user agent do AI2Bot?

O Ai2 documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. O número da versão muda, então identifique por “AI2Bot”.

Como confirmo os acessos do AI2Bot?

O Ai2 não publica lista de IPs do AI2Bot. Trate o user agent como um indício, não como prova.

Fonte: allenai.org, conferida em 17 de nov de 2026. Diretório de bots e crawlers de IA

Os arquivos são o começo. O que importa são as respostas.

As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.