¿Qué es CCBot? User agent y reglas de robots.txt
CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.
User agent de CCBot
Según la documentación de Common Crawl. El número de versión cambia; identifícalo por el token.
CCBot/2.0 (https://commoncrawl.org/faq/)
Reglas de robots.txt para CCBot
Pega uno de los bloques en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse. ¿No sabes qué hace tu archivo ahora? Usa el verificador de robots.txt para IA.
Bloquear CCBot
Bloquea todas las rutas para CCBot. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Common Crawl. Los resultados de búsqueda no cambian.
User-agent: CCBot Disallow: /
Permitir CCBot
Permite a CCBot acceder a todas las rutas, diga lo que diga “User-agent: *”.
User-agent: CCBot Allow: /
Conviene saber
A veces otros falsifican su user agent. Common Crawl publica sus rangos de IP y admite DNS inverso bajo crawl.commoncrawl.org.
CCBotPreguntas sobre CCBot
¿Qué es CCBot?
CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.
¿Cómo bloqueo CCBot?
Añade “User-agent: CCBot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de los datos de entrenamiento de Common Crawl. Los resultados de búsqueda no cambian.
¿CCBot respeta el robots.txt?
Sí. Common Crawl dice que CCBot sigue las reglas de robots.txt escritas para él.
¿Cuál es el user agent de CCBot?
Common Crawl lo documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. El número de versión cambia, así que identifícalo por “CCBot”.
¿Cómo compruebo los accesos de CCBot?
Compara la IP del acceso con la lista publicada de Common Crawl (https://index.commoncrawl.org/ccbot.json). El user agent por sí solo no basta: se puede falsificar.
Fuente: commoncrawl.org, comprobada el 17 de nov. de 2026. Directorio de bots y crawlers de IA
Los archivos son el comienzo. Lo que importa son las respuestas.
Las preguntas de tus clientes en hasta 8 motores de IA, con la frecuencia que elijas y con historial. Mide tu visibilidad en IA.