Presupuesto de rastreo: qué es y cómo funciona

El presupuesto de rastreo (crawl budget) es la cantidad de rastreo que un buscador está dispuesto a dedicar a tu sitio: cuántas URL descarga y con qué frecuencia. La guía de Google sobre el presupuesto de rastreo para sitios grandes lo define como la combinación de dos factores:

• Límite de capacidad de rastreo — cuánto puede rastrear Googlebot sin sobrecargar tu servidor. Las respuestas rápidas y sin errores lo elevan; las respuestas lentas y los errores 5xx lo reducen.
• Demanda de rastreo — cuánto quiere rastrear Google, según lo populares que sean tus URL, la frecuencia con que cambian y cuántas URL nuevas encuentra.

¿Debe preocuparse tu sitio?

Probablemente no, si gestionas un blog o un sitio de empresa típico. Google dice que el presupuesto de rastreo preocupa sobre todo a los sitios muy grandes (aproximadamente un millón o más de páginas únicas que cambian cada semana), a los sitios medianos o mayores con contenido que cambia con rapidez (más de 10.000 páginas que cambian a diario) y a los sitios con una gran proporción de URL atascadas como «Detectada: actualmente sin indexar» en Search Console.

En un sitio de 300 páginas, la lentitud de la indexación casi siempre es un problema de calidad o de descubrimiento, no de presupuesto.

Qué malgasta el presupuesto de rastreo

• La navegación por facetas: los parámetros de color × talla × precio × orden pueden generar millones de URL casi idénticas.
• Los saltos de redirección: cada uno es una descarga independiente. Consulta cadena de redirecciones.
• Los soft 404 —páginas vacías que responden 200— y las URL muertas desde hace tiempo que siguen enlazadas internamente.
• Los ID de sesión y los parámetros de seguimiento en los enlaces internos.
• Los espacios infinitos, como un calendario con un enlace «mes siguiente» que nunca termina.
• Las respuestas lentas del servidor, que reducen el límite de capacidad para todo lo demás.

Ejemplo: cerrar un espacio infinito de filtros

User-agent: *
# Bloquea los parámetros de orden y de sesión; deja rastreables las URL limpias de categoría
Disallow: /*?*sort=
Disallow: /*?*sessionid=
Disallow: /calendar/

robots.txt es la herramienta adecuada cuando no quieres que se rastreen las URL en absoluto. No uses noindex para ahorrar presupuesto: Google tiene que descargar la página para ver la etiqueta. Y no actives y desactives reglas de robots.txt para empujar a Googlebot hacia otras secciones; Google lo desaconseja.

Cómo mejorar la eficiencia del rastreo

1. Limita tu sitemap XML a URL canónicas e indexables, con fechas lastmod precisas.
2. Devuelve 404 o 410 para las páginas eliminadas en lugar de redirigirlo todo a la página de inicio.
3. Enlaza internamente a las URL finales, no a redirecciones.
4. Mejora el tiempo de respuesta del servidor y la caché.
5. Vigila el informe Estadísticas de rastreo de Search Console por si aparecen picos de errores o de tiempo de respuesta.

Audita tu sitio

La auditoría SEO del sitio web encuentra enlaces internos rotos, títulos y descripciones duplicados, páginas con poco contenido y otros problemas de todo el sitio: una auditoría de una sola página gratis, o un rastreo de todo el sitio en los planes de pago. Sigue cada salto con el verificador de redirecciones y consulta rastreador web para ver cómo se mueven los bots por un sitio.

Preguntas frecuentes