Diretório de bots e crawlers de IA

28 bots de IA da OpenAI, Anthropic, Google, Perplexity e outras empresas: o que cada um faz, o user agent e a regra de robots.txt para liberar ou bloquear.

Conferido na documentação de cada empresa em 17 de nov de 2026

Bot Para que serve robots.txt Token no robots.txt
GPTBotOpenAI Treinamento de IA Segue o robots.txt GPTBot
ClaudeBotAnthropic Treinamento de IA Segue o robots.txt ClaudeBot
Google-ExtendedGoogle Treinamento de IA Só token de controle Google-Extended
Applebot-ExtendedApple Treinamento de IA Só token de controle Applebot-Extended
Meta-ExternalAgentMeta Treinamento de IA Segue o robots.txt meta-externalagent
AmazonbotAmazon Treinamento de IA Segue o robots.txt Amazonbot
MistralAI-TrainingMistral AI Treinamento de IA Segue o robots.txt MistralAI-Training
CCBotCommon Crawl Treinamento de IA Segue o robots.txt CCBot
AI2BotAi2 Treinamento de IA Não documentado AI2Bot

Bots de treinamento, de busca e acionados pelo usuário

A maioria das empresas de IA tem bots separados. Bloqueie o tipo que você não quer e mantenha os outros.

GPTBot ClaudeBot Google-Extended

Treinamento de IA

Coletam páginas que podem treinar modelos. Bloqueá-los tira o seu conteúdo futuro dos dados de treinamento.

9 bots
OAI-SearchBot Claude-SearchBot Googlebot

Busca com IA

Montam o índice que as IAs consultam e citam nas respostas. Bloqueá-los pode tirar você dessas respostas.

9 bots
ChatGPT-User Claude-User Google-GeminiNotebook

A pedido do usuário

Abrem uma página quando alguém pede. As empresas avisam que o robots.txt pode não valer sempre.

8 bots

Qual bot cada IA usa para ler o seu site

Cada IA lê a web com os próprios bots. Liberar os de busca e os acionados pelo usuário permite que ela leia e cite as suas páginas, mas não decide se a resposta menciona a sua marca. Isso só se descobre medindo.

Só entram bots com fonte oficial. Está funcionando? Veja se o ChatGPT, o Gemini e outras seis IAs mencionam a sua marca.

Bloquear o treinamento de IA, continuar na busca com IA

O conjunto de regras que a maioria dos sites procura. Bloqueia todos os bots de treinamento e tokens de controle deste diretório e não mexe nos de busca nem nos acionados pelo usuário.

Veja quais bots de IA podem rastrear seu site

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Perguntas sobre bots de IA

O que são e como controlar.

O que são crawlers de IA?

São bots de empresas de IA que acessam páginas da web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice de onde as buscas com IA tiram as fontes que citam (OAI-SearchBot, PerplexityBot) e outros abrem uma página quando alguém pede (ChatGPT-User).

Como bloqueio bots de IA?

Pelo robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e liberar prontas para copiar, e o verificador de bots de IA mostra o que o seu arquivo faz hoje.

Os bots de IA respeitam o robots.txt?

As empresas listadas aqui dizem que seus bots seguem o robots.txt. Várias avisam que os bots acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot traz o que a empresa documenta.

O que são Google-Extended e Applebot-Extended?

Tokens de controle, não crawlers. Eles nunca visitam o seu site; definem se páginas que o Googlebot ou o Applebot já coletaram podem ser usadas para treinamento de IA (e, no caso do Google-Extended, para embasar respostas no Gemini). Não mudam os resultados de busca.

Como confirmo que um acesso vem mesmo de um bot de IA?

User agents podem ser falsificados. A maioria das empresas publica faixas de IP (com link em cada página de bot) ou aceita verificação por DNS reverso. Compare o IP do acesso com essas faixas antes de confiar no user agent.

Com que frequência a lista é atualizada?

Cada bot é conferido na documentação da própria empresa, com a data indicada, e a lista é revisada todo trimestre. Bots sem fonte oficial ficam de fora.

Quais bots de IA devo liberar?

Se você quer que as buscas com IA leiam e citem as suas páginas, libere os bots de busca e os acionados pelo usuário, como OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot. Segundo as próprias empresas, bloquear bots de treinamento como GPTBot ou ClaudeBot não tira você da busca com IA. Liberar um bot permite que a IA leia as suas páginas; não faz a IA mencionar a sua marca.

Como vejo quais bots de IA acessam o meu site?

Nos logs do seu servidor ou da sua CDN: filtre os acessos pelos tokens de user agent desta lista e confira os IPs com as faixas publicadas por cada empresa. O Brisano não lê os seus logs; o verificador de bots de IA mostra o que o seu robots.txt libera.

Os arquivos são o começo. O que importa são as respostas.

As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.