Probador de robots.txt: ¿esta URL está permitida o bloqueada?

Un solo carácter en el robots.txt puede ocultar un sitio entero de la búsqueda. “Disallow: /” lo bloquea todo, un “Disallow:” vacío no bloquea nada, y un grupo para Googlebot anula en silencio todo lo que hayas escrito bajo “User-agent: *”. Google sustituyó en 2023 el antiguo probador de robots.txt de Search Console por un informe, así que probar una regla con una URL concreta requiere ahora otra herramienta.

Este probador de robots.txt descarga y analiza el archivo, prueba cualquier URL con Googlebot, Bingbot y bots de IA usando las reglas de coincidencia más larga de Google, y resalta la línea que decidió el resultado. También informa de errores de sintaxis y de líneas de sitemap, y puedes pegar reglas en borrador para probarlas antes de subirlas.

Cómo probar las reglas de robots.txt

1. Introduce una URL o pega las reglas

   Descargamos /robots.txt del host de la URL, o usamos en su lugar las reglas que pegues.

2. Elige el rastreador

   Prueba Googlebot, Bingbot o un bot de IA como GPTBot, ClaudeBot o PerplexityBot.

3. Lee el veredicto

   Ves si está permitido o bloqueado, el grupo y la línea que coincidieron y cualquier problema de sintaxis del archivo.

Cómo aplican las reglas de robots.txt los rastreadores

Google documenta su comportamiento en su especificación de robots.txt, y el formato está estandarizado en el RFC 9309. Tres reglas explican casi todas las sorpresas:

1. Un rastreador obedece un solo grupo. Usa el grupo con el user agent más específico que coincide con él, así que Googlebot sigue un grupo User-agent: Googlebot e ignora por completo User-agent: *. Varios grupos que nombran al mismo rastreador se combinan.
2. Gana la ruta coincidente más larga. Dentro de ese grupo se aplica la regla con la ruta coincidente más larga, esté donde esté en el archivo.
3. En caso de empate, gana la regla menos restrictiva. Si coinciden un Allow y un Disallow con la misma longitud, Google permite la URL.

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

# /shop/cart        -> bloqueada (Disallow: /shop/)
# /shop/sale/boots  -> permitida (Allow: /shop/sale/ es más largo)
# /Shop/cart        -> permitida (las rutas distinguen mayúsculas y minúsculas)

Se admiten dos comodines: * coincide con cualquier secuencia de caracteres y $ marca el final de la URL, de modo que Disallow: /*.pdf$ bloquea las URL que terminan en .pdf.

Lo que robots.txt no puede hacer

• No elimina páginas de Google. Una URL bloqueada puede seguir indexada, sin su contenido, si otras páginas la enlazan. Para mantener una página fuera de los resultados, permite el rastreo y usa noindex.
• No es seguridad. El archivo es público y solo lo obedecen los bots bien educados. Protege las zonas privadas con un inicio de sesión.
• Google ignora algunas directivas. Crawl-delay no es compatible (Bing y algunos otros sí lo leen), y las líneas Noindex: en el robots.txt dejaron de funcionar en 2019.
• Cubre un solo host y protocolo. https://example.com/robots.txt no se aplica a https://shop.example.com ni a las URL http://; cada uno necesita su propio archivo.

No bloquees los archivos CSS y JavaScript que Google necesita para renderizar tus páginas, y mantén el archivo pequeño: Google ignora todo lo que haya después de los primeros 500 KiB.

Cuando falla el propio robots.txt

Cómo responde tu servidor a /robots.txt importa tanto como lo que dice el archivo:

Respuesta	Cómo reacciona Google
200 con reglas	Sigue las reglas y, en general, guarda el archivo en caché hasta 24 horas
404 u otro 4xx (excepto 429)	Supone que no hay restricciones y rastrea todo
5xx o tiempo de espera agotado	Deja de rastrear el sitio durante las primeras 12 horas y luego usa la última copia válida hasta 30 días
Redirección	Sigue al menos cinco saltos y luego trata el archivo como un 404

Una regla de pruebas copiada a producción, un simple Disallow: /, es una causa clásica de que un sitio desaparezca de la búsqueda. Prueba el archivo real después de cada despliegue, revisa la parte de IA con el comprobador de bots de IA y crea un archivo nuevo con el generador de robots.txt. Más conceptos básicos en nuestra entrada sobre robots.txt.

Consejos para probar robots.txt

• Prueba las URL que más importan (página de inicio, una categoría, un producto, una entrada del blog) después de cada cambio en el robots.txt.
• Recuerda que las reglas son coincidencias por prefijo: “Disallow: /blog” también bloquea /blog-archive y /blogger; usa “Disallow: /blog/” para la carpeta.
• Cuando añadas un grupo para un bot, copia en él las reglas generales que aún necesita, porque ya no lee el grupo *.
• Indica tu sitemap con una URL absoluta en una línea Sitemap; puede ir en cualquier parte del archivo.
• Guarda una copia del robots.txt anterior para poder volver atrás rápidamente si un despliegue bloquea el sitio.

Límites a tener en cuenta

El probador aplica las reglas de coincidencia documentadas por Google; otros rastreadores pueden tratar los casos límite de otra forma, y el cumplimiento es voluntario: robots.txt no puede detener a un bot que lo ignora. Prueba el archivo tal como está ahora, mientras que Google aún puede usar una copia en caché durante hasta un día. No mira las meta tags robots ni las cabeceras X-Robots-Tag; para la respuesta completa a “¿puede Google indexar esta página?”, usa el comprobador de indexabilidad.

Última actualización: 30 oct 2026 por el equipo de Yes SEO.