Comment bloquer les robots d’IA avec robots.txt (liste 2026 et modèles)

Pour bloquer un robot d’IA, ajoutez à votre fichier robots.txt un groupe pour son user-agent avec Disallow: /, par exemple User-agent: GPTBot. Le piège, en 2026, c’est que chaque entreprise d’IA exploite plusieurs robots aux rôles différents. Bloquez le mauvais et vous disparaissez des réponses de la recherche ChatGPT ou de Perplexity, sans rien changer à l’entraînement des modèles. Vous trouverez ci-dessous la liste actuelle des user-agents d’IA classés par finalité, trois modèles de robots.txt à copier-coller et la manière de confirmer que les règles fonctionnent vraiment.

Les trois sortes de robots d’IA

Les robots de recherche explorent les pages pour qu’un produit d’IA puisse les trouver, les citer et y renvoyer dans ses réponses. OpenAI indique que les sites qui refusent OAI-SearchBot n’apparaissent pas dans les réponses de la recherche ChatGPT. Les bloquer vous coûte en visibilité.

Les robots déclenchés par l’utilisateur chargent une page parce qu’une personne a demandé à un assistant de la lire, par exemple en collant votre URL dans une conversation. Ils n’explorent pas automatiquement, et plusieurs éditeurs précisent que les règles de robots.txt peuvent ne pas s’appliquer à eux, parce qu’un humain a déclenché la requête.

Les robots d’entraînement collectent du contenu susceptible de servir à entraîner de futurs modèles. Les bloquer est le refus que la plupart des éditeurs ont en tête quand ils disent « bloquer l’IA ». Cela n’agit que sur l’entraînement futur ; cela ne retire rien de ce qui a déjà été collecté.

Faut-il bloquer les robots d’IA ?

Décidez groupe par groupe, selon la vocation de votre contenu :

• Bloquez l’entraînement si votre contenu est votre produit (recherches originales, articles premium, jeux de données, banques d’images) ou si vous comptez le concéder sous licence. Refuser ne vous coûte rien dans la recherche.
• Autorisez les robots de recherche si vous voulez que les assistants d’IA vous citent et renvoient vers vous. Pour de nombreuses entreprises, les réponses de ChatGPT, de Claude ou de Perplexity deviennent un véritable canal de découverte, et un site bloqué n’est tout simplement pas candidat.
• Limitez le débit plutôt que de bloquer si le vrai problème est la charge du serveur. Anthropic prend en charge Crawl-delay pour ClaudeBot, et la plupart des CDN peuvent brider un user-agent donné sans l’interdire.
• Utilisez une authentification, pas robots.txt, pour le contenu qui doit rester privé. Le fichier robots.txt est public et demande seulement aux robots de rester à distance ; il ne protège rien.

La liste 2026 des user-agents d’IA

Ce tableau reflète la documentation de chaque entreprise en octobre 2026. Les éditeurs ajoutent et renomment régulièrement des robots : consultez donc la documentation liée avant de vous y fier.

Entreprise	User-agent ou jeton	Finalité	Respecte robots.txt ?
OpenAI	OAI-SearchBot	Recherche (résultats de la recherche ChatGPT)	Oui
OpenAI	ChatGPT-User	Requête déclenchée par l’utilisateur	OpenAI indique que les règles peuvent ne pas s’appliquer
OpenAI	GPTBot	Entraînement	Oui
Anthropic	Claude-SearchBot	Recherche	Oui
Anthropic	Claude-User	Requête déclenchée par l’utilisateur	Oui, selon Anthropic
Anthropic	ClaudeBot	Entraînement	Oui, y compris Crawl-delay
Perplexity	PerplexityBot	Index de recherche	Oui
Perplexity	Perplexity-User	Requête déclenchée par l’utilisateur	L’ignore généralement, selon Perplexity
Google	Google-Extended	Jeton : entraînement et ancrage de Gemini	Jeton uniquement, pas de robot distinct
Apple	Applebot-Extended	Jeton : refus de l’entraînement des modèles d’Apple	Jeton uniquement, pas de robot distinct
Meta	Meta-WebIndexer	Résultats de recherche de Meta AI	Oui
Meta	Meta-ExternalAgent	Entraînement et indexation de produits	Oui
Meta	Meta-ExternalFetcher	Requête déclenchée par l’utilisateur	Peut le contourner, selon Meta
Amazon	Amzn-SearchBot	Recherche dans les produits Amazon	Oui
Amazon	Amazonbot	Amélioration des produits ; peut servir à entraîner des modèles	Oui (sans Crawl-delay)
Amazon	Amzn-User	Requête déclenchée par l’utilisateur (p. ex. Alexa)	Peut ne pas suivre toutes les règles
DuckDuckGo	DuckAssistBot	Récupération en temps réel pour les réponses d’IA ; non utilisé pour l’entraînement	Oui (prévoir jusqu’à 72 heures)
Mistral	MistralAI-Index / MistralAI-User	Index de recherche / requête déclenchée par l’utilisateur	Voir la documentation de Mistral
Mistral	MistralAI-Training	Entraînement	Oui
Common Crawl	CCBot	Archive ouverte du web, largement utilisée pour entraîner des modèles	Oui
ByteDance	Bytespider	Exploration liée à des produits d’IA	Largement signalé comme ne le respectant pas

Sources : robots d’OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon, DuckDuckGo, Mistral et Common Crawl.

Modèles de robots.txt à copier-coller

Une règle piège presque tout le monde : un robot n’obéit qu’au groupe le plus spécifique qui correspond à son nom. Si vous donnez à OAI-SearchBot son propre groupe, il ignore tout ce qui figure sous User-agent: *. Répétez donc les lignes Disallow importantes, comme vos chemins d’administration ou de paiement, dans chaque groupe nommé. Selon la RFC 9309, vous pouvez empiler plusieurs lignes User-agent au-dessus d’un même ensemble de règles, ce qui garde le fichier court.

Modèle 1 : bloquer l’entraînement, autoriser la recherche IA (recommandé pour la plupart des sites)

# Recherche IA et requêtes déclenchées par l’utilisateur : autorisées
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Meta-WebIndexer
User-agent: Amzn-SearchBot
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
Disallow: /admin/
Disallow: /checkout/

# Entraînement des modèles d’IA : bloqué
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Tous les autres, y compris Googlebot et Bingbot
User-agent: *
Disallow: /admin/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Deux arbitrages s’imposent ici. Bloquer Google-Extended empêche aussi que votre contenu serve à ancrer les réponses dans les applications Gemini ; retirez-le donc de la liste de blocage si la visibilité dans Gemini compte pour vous. Quant à Amazonbot, il n’est pas listé parce qu’Amazon l’utilise pour des fonctions de produit autant que pour un éventuel entraînement ; ajoutez-le au groupe d’entraînement si vous voulez refuser.

Modèle 2 : bloquer tous les robots d’IA, garder la recherche classique

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Meta-WebIndexer
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Googlebot et Bingbot continuent d’explorer normalement, vous restez donc dans la recherche classique. N’oubliez pas que les robots déclenchés par l’utilisateur qui figurent dans cette liste peuvent ne pas respecter le blocage.

Modèle 3 : tout autoriser

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Si aucun groupe ne nomme un robot d’IA, celui-ci suit le groupe *. Vous n’avez pas besoin de lister chaque robot pour l’autoriser. En revanche, vous devez vérifier que rien d’autre, comme un pare-feu, ne le bloque.

Google-Extended et Applebot-Extended expliqués

Aucun des deux n’est un robot que vous verrez dans vos logs. Google explore avec ses user-agents Googlebot habituels, et Google-Extended est un jeton que vous adressez dans robots.txt pour indiquer si ce contenu peut servir à entraîner les futurs modèles Gemini et à ancrer les réponses dans les applications Gemini et Vertex AI. Google précise qu’il n’affecte pas l’inclusion dans Google Search et qu’il n’est pas un signal de classement.

Les AI Overviews et l’AI Mode font partie de Google Search : ils relèvent donc de Googlebot et des contrôles d’extrait habituels : nosnippet, data-nosnippet, max-snippet et noindex. Ne bloquez jamais Googlebot pour écarter du contenu des AI Overviews : vous sortiriez de la Recherche tout entière. Notre guide pour apparaître dans les AI Overviews détaille ces contrôles.

Applebot-Extended fonctionne de la même façon. Apple indique qu’il n’explore pas les pages ; l’interdire exclut votre contenu de l’entraînement des modèles de fondation d’Apple, et ces pages peuvent toujours apparaître dans Siri, Spotlight et les résultats de recherche de Safari.

Les robots qui peuvent ignorer robots.txt

robots.txt est un standard volontaire. Trois groupes appellent à la prudence :

• Les robots déclenchés par l’utilisateur. OpenAI, Perplexity, Meta et Amazon indiquent tous que leurs agents lancés par un utilisateur peuvent ne pas suivre pleinement robots.txt, parce qu’une personne a demandé cette page précise.
• Bytespider. Il a été largement signalé comme ne tenant pas compte de robots.txt. Considérez toute règle à son sujet comme un espoir, pas comme une garantie.
• Les scrapers non identifiés. De nombreux scrapers utilisent des user-agents de navigateur ordinaires, ou imitent le nom d’un robot connu. robots.txt ne peut pas les arrêter.

Pare-feu et WAF pour un blocage ferme

Si vous voulez une application stricte plutôt qu’une demande polie, bloquez au niveau du serveur ou du CDN.

Cloudflare permet de définir des politiques pour les robots d’IA par catégorie (robots d’entraînement, de recherche et d’agent), avec la possibilité de bloquer partout ou seulement sur les pages qui affichent des publicités. Ses réglages par défaut ont changé plus d’une fois et, à partir du 15 septembre 2026, ses paramètres de blocage de l’entraînement couvrent aussi les robots à usage mixte : vérifiez donc ce que fait aujourd’hui votre zone. Beaucoup de sites découvrent qu’ils bloquent des robots de recherche IA qu’ils voulaient autoriser.

Sur votre propre serveur, une règle sur le user-agent renvoie un 403 avant même que votre application ne s’exécute. Un exemple minimal pour Nginx :

map $http_user_agent $ai_training_bot {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|Bytespider|Meta-ExternalAgent|MistralAI-Training) 1;
}

server {
    # ...
    if ($ai_training_bot) { return 403; }
}

Les user-agents peuvent être falsifiés ; la méthode la plus solide consiste donc à combiner le nom avec la liste d’adresses IP publiée par l’éditeur. OpenAI publie gptbot.json, searchbot.json et chatgpt-user.json ; Perplexity et Anthropic publient aussi leurs plages. N’autorisez un robot que lorsque le nom et l’IP correspondent tous les deux.

Comment vérifier votre configuration

1. Ouvrez /robots.txt dans un navigateur. Il doit renvoyer un 200 en texte brut, pas une page d’erreur HTML. Une réponse 5xx peut conduire certains robots à cesser toute exploration.
2. Testez de vraies URL pour chaque robot avec le test robots.txt. Il applique les règles de correspondance la plus longue de Google et met en évidence la ligne qui s’applique.
3. Lancez un test de pare-feu en direct. Le vérificateur de robots d’IA teste votre robots.txt face à plus de 25 robots d’IA regroupés par finalité, puis demande la page avec de vrais user-agents d’IA pour détecter les blocages 403 de votre CDN ou de votre WAF.
4. Consultez vos logs serveur pour y repérer les user-agents ci-dessus, et vérifiez ceux qui semblent suspects avec les listes d’adresses IP publiées.
5. Laissez du temps. OpenAI, Meta et Amazon indiquent que les modifications prennent environ 24 heures pour s’appliquer ; DuckDuckGo parle de 72 heures au maximum.

Créez et testez vos règles pour les robots d’IA

Commencez par le générateur de robots.txt, qui propose des préréglages pour bloquer les robots d’entraînement tout en autorisant les robots de recherche IA, puis lancez le vérificateur de robots d’IA pour confirmer que chaque robot voit bien ce que vous aviez prévu. Si vous préférez aider les outils d’IA à mieux comprendre votre site plutôt que de les bloquer, notre guide llms.txt présente honnêtement ce fichier facultatif. Pour le contexte sur le robot d’entraînement le plus connu, consultez l’entrée de glossaire sur GPTBot.