Rastreador web: qué es y cómo funciona

Un rastreador web (crawler), también llamado araña o bot, es un programa que descarga páginas web de forma automática, extrae sus enlaces y añade las URL nuevas a una cola para descargarlas a continuación. Los buscadores usan rastreadores para construir sus índices; las empresas de IA, para alimentar sus motores de respuestas y entrenar modelos.

Cómo funciona un rastreador

1. URL semilla: proceden de páginas que ya conoce, de sitemaps y de enlaces encontrados en otros sitios.
2. Comprobaciones de cortesía: antes de descargar, el rastreador lee el robots.txt del host y se salta las rutas bloqueadas.
3. Descarga: solicita la URL y registra el código de estado, las cabeceras y el HTML.
4. Análisis: extrae los enlaces de los elementos <a href>, además de los canonicals y otras señales.
5. Programación: se priorizan las URL nuevas y modificadas, y los servidores que se ralentizan reciben menos peticiones.

Google añade un paso de renderizado para JavaScript más adelante en su proceso. Muchos otros rastreadores no lo hacen, y por eso es tan importante el contenido en el HTML del servidor.

Los rastreadores que importan

• Googlebot — sobre todo su rastreador de smartphone, porque Google indexa la versión móvil de las páginas.
• Bingbot — el índice de Bing alimenta también otros productos de búsqueda.
• Rastreadores de IA, divididos por finalidad. Los bots de búsqueda como OAI-SearchBot, Claude-SearchBot y PerplexityBot descargan páginas para respuestas que pueden citarte. Los bots de entrenamiento como GPTBot, ClaudeBot y CCBot recopilan datos para modelos. Los agentes activados por el usuario, como ChatGPT-User y Claude-User, cargan una página porque alguien preguntó por ella. Más información en rastreador de IA.

Ejemplo: Googlebot en tu registro de accesos

66.249.66.1 - - [28/Oct/2026:09:14:02 +0000] "GET /pricing HTTP/1.1" 200 18432 "-"
"Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Cualquiera puede falsificar esa cadena de user-agent. Para confirmar que es un Googlebot real, haz una búsqueda DNS inversa de la dirección IP —debería resolverse a googlebot.com, google.com o googleusercontent.com— y después una búsqueda directa de vuelta a la misma IP, o compárala con los rangos de IP publicados por Google (verificar Googlebot). Google muestra la versión de Chrome como W.X.Y.Z porque cambia a medida que se actualiza el navegador del rastreador.

Errores frecuentes

• Reglas de firewall que bloquean a los bots buenos. Una protección agresiva contra bots en un CDN puede devolver 403 a Googlebot o a los rastreadores de búsqueda de IA mientras robots.txt dice que son bienvenidos.
• Fiarse solo del user-agent. Los actores maliciosos simplemente mienten sobre quiénes son; verifica por IP todo lo importante.
• Enlaces que los rastreadores no pueden seguir: botones con controladores onclick, anclas sin href, URL construidas solo en JavaScript. Consulta SEO para JavaScript.
• Espacios de URL infinitos generados por calendarios y filtros que atrapan a los rastreadores y malgastan el presupuesto de rastreo.

Prueba el acceso de los rastreadores

El probador de robots.txt comprueba cualquier URL frente a las reglas de Googlebot, Bingbot y los bots de IA. Para detectar también los bloqueos de firewall, el verificador de rastreadores de IA solicita tu página con user-agents de IA reales e informa de las respuestas 403.

Preguntas frecuentes