O que é o CCBot? User agent e regras de robots.txt
O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web, que qualquer pessoa pode baixar de graça e que é muito usado como dado de treinamento de IA.
User agent do CCBot
Conforme a documentação da Common Crawl. O número da versão muda; identifique pelo token.
CCBot/2.0 (https://commoncrawl.org/faq/)
Regras de robots.txt para o CCBot
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida. Não sabe o que o seu arquivo faz hoje? Use o verificador de robots.txt para IA.
Bloquear o CCBot
Bloqueia todos os caminhos para o CCBot. Assim, suas páginas futuras ficam fora dos dados de treinamento da Common Crawl. Os resultados de busca não mudam.
User-agent: CCBot Disallow: /
Liberar o CCBot
Libera todos os caminhos para o CCBot, não importa o que diga o “User-agent: *”.
User-agent: CCBot Allow: /
Bom saber
Às vezes terceiros falsificam o user agent dele. A Common Crawl publica suas faixas de IP e aceita verificação por DNS reverso em crawl.commoncrawl.org.
CCBotPerguntas sobre o CCBot
O que é o CCBot?
O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web, que qualquer pessoa pode baixar de graça e que é muito usado como dado de treinamento de IA.
Como bloqueio o CCBot?
Inclua “User-agent: CCBot” e “Disallow: /” no seu robots.txt. Assim, suas páginas futuras ficam fora dos dados de treinamento da Common Crawl. Os resultados de busca não mudam.
O CCBot respeita o robots.txt?
Sim. A Common Crawl diz que o CCBot segue as regras do robots.txt escritas para ele.
Qual é o user agent do CCBot?
A Common Crawl documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. O número da versão muda, então identifique por “CCBot”.
Como confirmo os acessos do CCBot?
Compare o IP do acesso com a lista publicada da Common Crawl (https://index.commoncrawl.org/ccbot.json). Só o user agent não basta: ele pode ser falsificado.
Fonte: commoncrawl.org, conferida em 17 de nov de 2026. Diretório de bots e crawlers de IA
Os arquivos são o começo. O que importa são as respostas.
As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.