Treinamento de IA
Coletam páginas que podem treinar modelos. Bloqueá-los tira o seu conteúdo futuro dos dados de treinamento.
9 bots28 bots de IA da OpenAI, Anthropic, Google, Perplexity e outras empresas: o que cada um faz, o user agent e a regra de robots.txt para liberar ou bloquear.
Conferido na documentação de cada empresa em 17 de nov de 2026
| Bot | Para que serve |
|---|---|
| OAI-SearchBotOpenAI | Busca com IA |
| Claude-SearchBotAnthropic | Busca com IA |
| GooglebotGoogle | Busca com IA |
| Busca com IA | |
| PerplexityBotPerplexity | Busca com IA |
| Busca com IA | |
| Busca com IA | |
| Busca com IA | |
| Busca com IA |
A maioria das empresas de IA tem bots separados. Bloqueie o tipo que você não quer e mantenha os outros.
Coletam páginas que podem treinar modelos. Bloqueá-los tira o seu conteúdo futuro dos dados de treinamento.
9 botsMontam o índice que as IAs consultam e citam nas respostas. Bloqueá-los pode tirar você dessas respostas.
9 botsAbrem uma página quando alguém pede. As empresas avisam que o robots.txt pode não valer sempre.
8 botsCada IA lê a web com os próprios bots. Liberar os de busca e os acionados pelo usuário permite que ela leia e cite as suas páginas, mas não decide se a resposta menciona a sua marca. Isso só se descobre medindo.
Só entram bots com fonte oficial. Está funcionando? Veja se o ChatGPT, o Gemini e outras seis IAs mencionam a sua marca.
O conjunto de regras que a maioria dos sites procura. Bloqueia todos os bots de treinamento e tokens de controle deste diretório e não mexe nos de busca nem nos acionados pelo usuário.
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot User-agent: AI2Bot Disallow: /
O que são e como controlar.
São bots de empresas de IA que acessam páginas da web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice de onde as buscas com IA tiram as fontes que citam (OAI-SearchBot, PerplexityBot) e outros abrem uma página quando alguém pede (ChatGPT-User).
Pelo robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e liberar prontas para copiar, e o verificador de bots de IA mostra o que o seu arquivo faz hoje.
As empresas listadas aqui dizem que seus bots seguem o robots.txt. Várias avisam que os bots acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot traz o que a empresa documenta.
Tokens de controle, não crawlers. Eles nunca visitam o seu site; definem se páginas que o Googlebot ou o Applebot já coletaram podem ser usadas para treinamento de IA (e, no caso do Google-Extended, para embasar respostas no Gemini). Não mudam os resultados de busca.
User agents podem ser falsificados. A maioria das empresas publica faixas de IP (com link em cada página de bot) ou aceita verificação por DNS reverso. Compare o IP do acesso com essas faixas antes de confiar no user agent.
Cada bot é conferido na documentação da própria empresa, com a data indicada, e a lista é revisada todo trimestre. Bots sem fonte oficial ficam de fora.
Se você quer que as buscas com IA leiam e citem as suas páginas, libere os bots de busca e os acionados pelo usuário, como OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot. Segundo as próprias empresas, bloquear bots de treinamento como GPTBot ou ClaudeBot não tira você da busca com IA. Liberar um bot permite que a IA leia as suas páginas; não faz a IA mencionar a sua marca.
Nos logs do seu servidor ou da sua CDN: filtre os acessos pelos tokens de user agent desta lista e confira os IPs com as faixas publicadas por cada empresa. O Brisano não lê os seus logs; o verificador de bots de IA mostra o que o seu robots.txt libera.
Veja se o GPTBot, o ClaudeBot e outros bots conseguem acessar seu site.
Ferramenta grátisConfira se o llms.txt de qualquer site segue o formato.
DiretórioUser agent e regras de robots.txt dos bots da OpenAI.
MonitoramentoVeja se o Perplexity menciona você e cita o seu site.
As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.