robots.txt : syntaxe, règles et exemples

robots.txt: robots.txt est un fichier texte placé à la racine d’un site qui indique aux robots d’exploration les chemins d’URL qu’ils peuvent ou non récupérer.

Le fichier robots.txt est un fichier texte brut servi à la racine d’un hôte (https://example.com/robots.txt) qui indique aux robots d’exploration les chemins qu’ils peuvent récupérer. Après près de trente ans comme convention informelle, il a été normalisé en 2022 sous le nom de protocole d’exclusion des robots (Robots Exclusion Protocol) dans la RFC 9309.

La syntaxe en un exemple

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Chaque groupe commence par une ou plusieurs lignes User-agent suivies de règles. Un robot n’obéit qu’au groupe le plus spécifique qui le nomme : GPTBot, ci-dessus, ignore donc entièrement le groupe *. Les chemins sont sensibles à la casse et se comparent depuis le début du chemin de l’URL ; * correspond à n’importe quelle suite de caractères et $ marque la fin de l’URL.

Comment Google résout les conflits

Google applique la règle la plus longue qui correspond. Pour /search/help, Allow: /search/help l’emporte sur le Disallow: /search, plus court. Quand une règle Allow et une règle Disallow correspondent avec la même longueur, c’est l’Allow, moins restrictif, qui gagne. Google ignore crawl-delay et ne lit que les 500 premiers Kio du fichier. Voir comment Google interprète le fichier robots.txt.

Explorer n’est pas indexer

Ce malentendu est le plus dommageable. Le fichier robots.txt bloque la récupération, pas l’indexation. Une URL interdite vers laquelle d’autres sites font un lien peut quand même apparaître dans les résultats, généralement sans description. Pour garder une page hors de l’index, laissez-la explorable et utilisez noindex ; Google a cessé de prendre en compte les lignes noindex dans robots.txt en 2019.

robots.txt et recherche par IA

La plupart des entreprises d’IA publient des user-agents distincts selon l’usage, ce qui permet de refuser l’entraînement des modèles tout en restant visible dans les réponses d’IA. Vous pouvez bloquer GPTBot (entraînement d’OpenAI) tout en autorisant OAI-SearchBot (recherche ChatGPT), ou bloquer ClaudeBot tout en autorisant Claude-SearchBot. Google-Extended contrôle l’utilisation de votre contenu pour l’entraînement et l’ancrage de Gemini ; il n’a aucun effet sur la Recherche Google ni sur les AI Overviews. Plus de détails à l’entrée robot d’IA.

Erreurs courantes

Un Disallow: / hérité d’un site de préproduction et reporté en production.
Bloquer les dossiers CSS et JavaScript, si bien que Google ne peut pas restituer correctement la page.
Utiliser robots.txt pour cacher des zones privées. Le fichier est public et désigne précisément ce que vous voulez cacher : utilisez une authentification.
Croire qu’un seul fichier couvre tous les sous-domaines. Chaque hôte et chaque protocole a besoin du sien.
Un robots.txt qui renvoie une erreur serveur. Google traite une réponse 5xx comme « tout est interdit » pendant un certain temps, et l’exploration s’interrompt.

Tester votre fichier

Le testeur robots.txt récupère et analyse votre fichier, teste n’importe quelle URL pour Googlebot, Bingbot et les bots d’IA avec la logique de la règle la plus longue de Google, et met en évidence la règle exacte qui s’est appliquée, ainsi que les erreurs de syntaxe et les lignes sitemap. Pour comprendre qui lit ce fichier, voir l’entrée robot d’exploration.

Questions fréquentes

robots.txt retire-t-il une page de Google ?

Non. Il ne fait qu’empêcher l’exploration. Une URL bloquée peut rester indexée si d’autres pages font un lien vers elle. Utilisez une balise meta noindex ou un en-tête X-Robots-Tag, et laissez l’URL explorable pour que les moteurs de recherche voient cette instruction.

Tous les robots respectent-ils robots.txt ?

Les moteurs de recherche réputés et la plupart des entreprises d’IA le respectent, mais la conformité est volontaire. Certains outils de récupération déclenchés par l’utilisateur, comme Perplexity-User, peuvent ne pas le suivre, et les mauvais robots l’ignorent : utilisez donc une authentification ou des règles de pare-feu pour tout ce qui doit rester privé.

Où faut-il placer le fichier robots.txt ?

À la racine de chaque hôte, par exemple https://www.example.com/robots.txt. Un fichier placé dans un sous-dossier est ignoré, et chaque sous-domaine et chaque protocole a besoin de son propre fichier.

robots.txt : définition et explications