GPTBot : définition et explications

GPTBot est le robot d’exploration qu’OpenAI utilise pour rassembler du contenu public pouvant servir à entraîner ses modèles de fondation. OpenAI l’a introduit en août 2023 et le documente, avec ses autres bots, sur sa page de présentation des robots. Dans les journaux du serveur, il apparaît avec une chaîne user-agent contenant GPTBot et un lien vers la documentation des bots d’OpenAI.

GPTBot n’est pas la recherche ChatGPT

C’est le fait le plus important à retenir sur GPTBot. OpenAI exploite des bots distincts pour des finalités distinctes, et chacun se contrôle indépendamment dans le robots.txt :

• GPTBot : explore pour l’entraînement des modèles.
• OAI-SearchBot : explore pour la recherche ChatGPT, l’index que ChatGPT utilise pour afficher des sites web et y renvoyer dans ses réponses.
• ChatGPT-User : récupère une page à la demande quand un utilisateur de ChatGPT ou un GPT personnalisé l’interroge à son sujet.

Bloquer GPTBot ne retire pas votre site des résultats de la recherche ChatGPT. Bloquer OAI-SearchBot, si. De nombreux sites bloquent le mauvais bot, ou les trois, sans s’en rendre compte.

Bloquer ou autoriser GPTBot

Pour refuser l’entraînement tout en restant visible dans la recherche ChatGPT :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Pour autoriser l’entraînement sur les articles publics tout en écartant les espaces privés :

User-agent: GPTBot
Allow: /blog/
Disallow: /account/
Disallow: /checkout/

Les règles s’appliquent par chemin, et la règle correspondante la plus spécifique l’emporte. Un blocage par robots.txt ne vaut que pour l’exploration future : il ne rappelle pas le contenu collecté avant l’ajout de la règle.

Faut-il le bloquer ?

Il n’y a aucune pénalité SEO dans un sens ou dans l’autre : GPTBot n’a aucun effet sur le classement dans Google ou Bing. La décision porte sur la façon dont vous voulez que votre contenu soit utilisé. Les éditeurs qui concèdent des licences sur leur contenu ou craignent sa réutilisation bloquent souvent les robots d’entraînement ; les marques qui veulent que leurs produits et leur documentation soient bien représentés dans les futurs modèles les autorisent souvent. Certains sites choisissent une voie médiane et n’autorisent GPTBot que sur les pages marketing et de documentation.

Erreurs courantes

• Bloquer OAI-SearchBot alors que vous vouliez bloquer l’entraînement, ce qui vous retire des sources citées par ChatGPT.
• Un pare-feu qui bloque GPTBot par IP ou par user-agent alors que le robots.txt autorise : votre politique affichée et le comportement réel divergent.
• Des fautes de frappe dans le jeton (« GPT-Bot », « GPTBot/1.1 »). La correspondance des user-agents dans le robots.txt ne tient pas compte de la casse, mais le nom doit correspondre au jeton du produit.
• Se fier aux faux bots. Des scrapers usurpent parfois GPTBot. OpenAI publie les plages d’adresses IP de ses robots, ce qui permet de vérifier les vraies requêtes.

Comment vérifier

L’Vérificateur de robots IA lit votre robots.txt et indique si GPTBot, OAI-SearchBot et ChatGPT-User sont autorisés pour une URL donnée, aux côtés de plus de 25 autres user-agents de robot IA. Son test de pare-feu en direct demande la page avec de vrais user-agents d’IA, pour voir si une règle de CDN renvoie un 403 même quand le robots.txt autorise l’accès. La même logique s’applique au jeton d’entraînement de Google : voir google-Extended.

Questions fréquentes