O que é o AI2Bot? User agent e regras de robots.txt
O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.
User agent do AI2Bot
Conforme a documentação do Ai2. O número da versão muda; identifique pelo token.
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)
Regras de robots.txt para o AI2Bot
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida. Não sabe o que o seu arquivo faz hoje? Use o verificador de robots.txt para IA.
Bloquear o AI2Bot
Bloqueia todos os caminhos para o AI2Bot. Assim, suas páginas futuras ficam fora dos dados de treinamento do Ai2. Os resultados de busca não mudam.
User-agent: AI2Bot Disallow: /
Liberar o AI2Bot
Libera todos os caminhos para o AI2Bot, não importa o que diga o “User-agent: *”.
User-agent: AI2Bot Allow: /
Bom saber
A página do Ai2 não diz como ele lê o robots.txt; ela sugere filtrar pelo user agent.
AI2BotPerguntas sobre o AI2Bot
O que é o AI2Bot?
O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.
Como bloqueio o AI2Bot?
Inclua “User-agent: AI2Bot” e “Disallow: /” no seu robots.txt. Assim, suas páginas futuras ficam fora dos dados de treinamento do Ai2. Os resultados de busca não mudam.
O AI2Bot respeita o robots.txt?
A documentação do Ai2 não informa. Bloqueie no robots.txt e, se precisar, no firewall, pelos IPs publicados.
Qual é o user agent do AI2Bot?
O Ai2 documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. O número da versão muda, então identifique por “AI2Bot”.
Como confirmo os acessos do AI2Bot?
O Ai2 não publica lista de IPs do AI2Bot. Trate o user agent como um indício, não como prova.
Fonte: allenai.org, conferida em 17 de nov de 2026. Diretório de bots e crawlers de IA
Os arquivos são o começo. O que importa são as respostas.
As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.