Rastreador de IA: qué es y cómo funciona
Un rastreador de IA es un bot de una empresa de IA que descarga páginas para entrenar modelos, crear un índice de búsqueda o atender peticiones en vivo.
Un rastreador de IA es un cliente automatizado, operado por una empresa de inteligencia artificial, que descarga páginas web. Como un rastreador web de búsqueda clásico, se identifica con una cadena de user-agent y se supone que respeta el archivo robots.txt. Lo que lo distingue es lo que ocurre después con tu contenido, y eso depende de cuál de los tres trabajos haga el bot.
Tres finalidades, tres decisiones
| Finalidad | Qué hace | Ejemplos |
|---|---|---|
| Entrenamiento | Recopila contenido que puede usarse para entrenar futuros modelos | GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent, Bytespider; tokens de exclusión Google-Extended y Applebot-Extended |
| Indexación para búsqueda | Construye el índice del que cita un producto de búsqueda con IA | OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot, PerplexityBot, DuckAssistBot |
| Consulta de usuario | Descarga una página en vivo porque una persona le preguntó al asistente por ella | ChatGPT-User, Claude-User, Perplexity-User |
La división importa porque bloquear un bot de entrenamiento no te saca de la búsqueda con IA, y bloquear un bot de búsqueda puede hacerte invisible en las respuestas de ese producto. Cada proveedor documenta sus bots: OpenAI, Anthropic y Perplexity. Ten en cuenta que los bots activados por el usuario se comportan más como un navegador que actúa en nombre de una persona; Perplexity dice que Perplexity-User generalmente ignora robots.txt por ese motivo.
Una política habitual en robots.txt
Muchos editores permiten la búsqueda con IA y las consultas de usuario (por la visibilidad y las visitas de referencia) y se excluyen del entrenamiento:
# Permitir la búsqueda con IA y las consultas en vivo
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Excluirse del entrenamiento de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Permitir o no el entrenamiento es una decisión de negocio sin una respuesta universal; lo importante es tomarla de forma deliberada, para cada finalidad. Consulta GPTBot y google-Extended para los dos casos más preguntados.
Errores habituales
- Bloquear «toda la IA» con una sola regla y luego preguntarse por qué ChatGPT o Perplexity nunca citan el sitio.
- Olvidar el firewall. La protección contra bots de un CDN y los interruptores de «bloquear bots de IA» pueden devolver un 403 a los rastreadores de IA aunque robots.txt los permita. robots.txt es una petición; el firewall es la verdadera puerta.
- Fiarse solo del user-agent. Cualquiera puede falsificar un user-agent. Si autorizas bots en el firewall, verifícalos con los rangos de IP que publican los proveedores.
- Depender de JavaScript. Muchos rastreadores de IA descargan el HTML en bruto y no ejecutan scripts, así que el contenido renderizado en el cliente puede ser invisible para ellos.
Cómo comprobarlo
El Comprobar bots de IA prueba tu robots.txt frente a más de 25 bots de IA, agrupados por finalidad (búsqueda, consulta de usuario, entrenamiento), y ejecuta una prueba de firewall en vivo que solicita tu página con user-agents reales de IA para detectar los bloqueos 403 que robots.txt no puede revelar. Para ver las reglas paso a paso, consulta Cómo bloquear rastreadores de IA con robots.txt (lista 2026 y recetas).
Preguntas frecuentes
¿Bloquear los rastreadores de IA perjudica mi posicionamiento en Google?
Bloquear bots específicos de IA como GPTBot, ClaudeBot o el token Google-Extended no afecta al posicionamiento en la Búsqueda de Google. Bloquear al propio Googlebot sí lo haría, así que nunca bloquees a Googlebot para frenar el entrenamiento de IA.
¿Qué rastreadores de IA debo permitir?
Si quieres aparecer en las respuestas de IA, permite los bots de búsqueda y de consulta de usuario: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User y PerplexityBot. Permitir los bots de entrenamiento es una opción aparte y opcional.
¿Los rastreadores de IA respetan robots.txt?
Los principales proveedores dicen que sus rastreadores siguen robots.txt, aunque los bots activados por el usuario, como Perplexity-User, pueden no hacerlo. Al final, el cumplimiento depende de tu firewall, y por eso resulta útil una prueba de acceso en vivo.