O que é o CCBot? User agent e regras de robots.txt

O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web, que qualquer pessoa pode baixar de graça e que é muito usado como dado de treinamento de IA.

Treinamento de IA Segue o robots.txt Common Crawl

User agent do CCBot

Conforme a documentação da Common Crawl. O número da versão muda; identifique pelo token.

User agent
CCBot/2.0 (https://commoncrawl.org/faq/)

Regras de robots.txt para o CCBot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida. Não sabe o que o seu arquivo faz hoje? Use o verificador de robots.txt para IA.

Bloquear o CCBot

Bloqueia todos os caminhos para o CCBot. Assim, suas páginas futuras ficam fora dos dados de treinamento da Common Crawl. Os resultados de busca não mudam.

robots.txt
User-agent: CCBot
Disallow: /

Liberar o CCBot

Libera todos os caminhos para o CCBot, não importa o que diga o “User-agent: *”.

robots.txt
User-agent: CCBot
Allow: /

Bom saber

Às vezes terceiros falsificam o user agent dele. A Common Crawl publica suas faixas de IP e aceita verificação por DNS reverso em crawl.commoncrawl.org.

Empresa Common Crawl
Para que serveTreinamento de IA
robots.txtSegue o robots.txt
Token no robots.txtCCBot
Faixas de IPLista publicada
Documentaçãocommoncrawl.org
O CCBot consegue acessar seu site? Digite seu domínio: lemos o seu robots.txt e mostramos o status do CCBot.

Perguntas sobre o CCBot

O que é o CCBot?

O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web, que qualquer pessoa pode baixar de graça e que é muito usado como dado de treinamento de IA.

Como bloqueio o CCBot?

Inclua “User-agent: CCBot” e “Disallow: /” no seu robots.txt. Assim, suas páginas futuras ficam fora dos dados de treinamento da Common Crawl. Os resultados de busca não mudam.

O CCBot respeita o robots.txt?

Sim. A Common Crawl diz que o CCBot segue as regras do robots.txt escritas para ele.

Qual é o user agent do CCBot?

A Common Crawl documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. O número da versão muda, então identifique por “CCBot”.

Como confirmo os acessos do CCBot?

Compare o IP do acesso com a lista publicada da Common Crawl (https://index.commoncrawl.org/ccbot.json). Só o user agent não basta: ele pode ser falsificado.

Fonte: commoncrawl.org, conferida em 17 de nov de 2026. Diretório de bots e crawlers de IA

Os arquivos são o começo. O que importa são as respostas.

As perguntas dos seus clientes em até 8 IAs, na frequência que você escolher, com histórico. Veja se o ChatGPT menciona a sua marca.