Diretório de bots e crawlers de IA

28 bots de IA da OpenAI, Anthropic, Google, Perplexity e outras empresas: o que cada um faz, o user agent e a regra de robots.txt para liberar ou bloquear.

Conferido na documentação de cada empresa em 17 de nov de 2026

Bot Para que serve robots.txt Token no robots.txt
OAI-SearchBotOpenAI Busca com IA Segue o robots.txt OAI-SearchBot
Claude-SearchBotAnthropic Busca com IA Segue o robots.txt Claude-SearchBot
GooglebotGoogle Busca com IA Segue o robots.txt Googlebot
ApplebotApple Busca com IA Segue o robots.txt Applebot
PerplexityBotPerplexity Busca com IA Segue o robots.txt PerplexityBot
Meta-WebIndexerMeta Busca com IA Segue o robots.txt meta-webindexer
Amzn-SearchBotAmazon Busca com IA Segue o robots.txt Amzn-SearchBot
MistralAI-IndexMistral AI Busca com IA Não documentado MistralAI-Index
DuckAssistBotDuckDuckGo Busca com IA Segue o robots.txt DuckAssistBot

Bots de treinamento, de busca e acionados pelo usuário

A maioria das empresas de IA tem bots separados. Bloqueie o tipo que você não quer e mantenha os outros.

GPTBot ClaudeBot Google-Extended

Treinamento de IA

Coletam páginas que podem treinar modelos. Bloqueá-los tira o seu conteúdo futuro dos dados de treinamento.

9 bots
OAI-SearchBot Claude-SearchBot Googlebot

Busca com IA

Montam o índice que as IAs consultam e citam nas respostas. Bloqueá-los pode tirar você dessas respostas.

9 bots
ChatGPT-User Claude-User Google-GeminiNotebook

A pedido do usuário

Abrem uma página quando alguém pede. As empresas avisam que o robots.txt pode não valer sempre.

8 bots

Qual bot cada IA usa para ler o seu site

Cada IA lê a web com os próprios bots. Liberar os de busca e os acionados pelo usuário permite que ela leia e cite as suas páginas, mas não decide se a resposta menciona a sua marca. Isso só se descobre medindo.

Só entram bots com fonte oficial. Está funcionando? Veja se o ChatGPT, o Gemini e outras seis IAs mencionam a sua marca.

Bloquear o treinamento de IA, continuar na busca com IA

O conjunto de regras que a maioria dos sites procura. Bloqueia todos os bots de treinamento e tokens de controle deste diretório e não mexe nos de busca nem nos acionados pelo usuário.

Veja quais bots de IA podem rastrear seu site

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Perguntas sobre bots de IA

O que são e como controlar.

O que são crawlers de IA?

São bots de empresas de IA que acessam páginas da web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice de onde as buscas com IA tiram as fontes que citam (OAI-SearchBot, PerplexityBot) e outros abrem uma página quando alguém pede (ChatGPT-User).

Como bloqueio bots de IA?

Pelo robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e liberar prontas para copiar, e o verificador de bots de IA mostra o que o seu arquivo faz hoje.

Os bots de IA respeitam o robots.txt?

As empresas listadas aqui dizem que seus bots seguem o robots.txt. Várias avisam que os bots acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot traz o que a empresa documenta.

O que são Google-Extended e Applebot-Extended?

Tokens de controle, não crawlers. Eles nunca visitam o seu site; definem se páginas que o Googlebot ou o Applebot já coletaram podem ser usadas para treinamento de IA (e, no caso do Google-Extended, para embasar respostas no Gemini). Não mudam os resultados de busca.

Como confirmo que um acesso vem mesmo de um bot de IA?

User agents podem ser falsificados. A maioria das empresas publica faixas de IP (com link em cada página de bot) ou aceita verificação por DNS reverso. Compare o IP do acesso com essas faixas antes de confiar no user agent.

Com que frequência a lista é atualizada?

Cada bot é conferido na documentação da própria empresa, com a data indicada, e a lista é revisada todo trimestre. Bots sem fonte oficial ficam de fora.

Quais bots de IA devo liberar?

Se você quer que as buscas com IA leiam e citem as suas páginas, libere os bots de busca e os acionados pelo usuário, como OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot. Segundo as próprias empresas, bloquear bots de treinamento como GPTBot ou ClaudeBot não tira você da busca com IA. Liberar um bot permite que a IA leia as suas páginas; não faz a IA mencionar a sua marca.

Como vejo quais bots de IA acessam o meu site?

Nos logs do seu servidor ou da sua CDN: filtre os acessos pelos tokens de user agent desta lista e confira os IPs com as faixas publicadas por cada empresa. O Brisano não lê os seus logs; o verificador de bots de IA mostra o que o seu robots.txt libera.

Os arquivos são o começo. O que importa são as respostas.

As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.