¿Qué es CCBot? User agent y reglas de robots.txt

CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.

Entrenamiento de IA Sigue el robots.txt Common Crawl

User agent de CCBot

Según la documentación de Common Crawl. El número de versión cambia; identifícalo por el token.

User agent
CCBot/2.0 (https://commoncrawl.org/faq/)

Reglas de robots.txt para CCBot

Pega uno de los bloques en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse. ¿No sabes qué hace tu archivo ahora? Usa el verificador de robots.txt para IA.

Bloquear CCBot

Bloquea todas las rutas para CCBot. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Common Crawl. Los resultados de búsqueda no cambian.

robots.txt
User-agent: CCBot
Disallow: /

Permitir CCBot

Permite a CCBot acceder a todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: CCBot
Allow: /

Conviene saber

A veces otros falsifican su user agent. Common Crawl publica sus rangos de IP y admite DNS inverso bajo crawl.commoncrawl.org.

Empresa Common Crawl
Para qué sirveEntrenamiento de IA
robots.txtSigue el robots.txt
Token en robots.txtCCBot
Rangos de IPLista publicada
Documentacióncommoncrawl.org
¿CCBot puede acceder a tu sitio? Escribe tu dominio: leemos tu robots.txt y te mostramos el estado de CCBot.

Preguntas sobre CCBot

¿Qué es CCBot?

CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.

¿Cómo bloqueo CCBot?

Añade “User-agent: CCBot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Common Crawl. Los resultados de búsqueda no cambian.

¿CCBot respeta el robots.txt?

Sí. Common Crawl dice que CCBot sigue las reglas de robots.txt escritas para él.

¿Cuál es el user agent de CCBot?

Common Crawl lo documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. El número de versión cambia, así que identifícalo por “CCBot”.

¿Cómo compruebo los accesos de CCBot?

Compara la IP del acceso con la lista publicada de Common Crawl (https://index.commoncrawl.org/ccbot.json). El user agent por sí solo no basta: se puede falsificar.

Fuente: commoncrawl.org, comprobada el 17 de nov. de 2026. Directorio de bots y crawlers de IA

Los archivos son el comienzo. Lo que importa son las respuestas.

Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.