# Vérificateur de robots IA : quels bots peuvent accéder à votre site ? > Vérificateur de robots IA gratuit : testez votre robots.txt face à plus de 25 bots IA (GPTBot, ClaudeBot, PerplexityBot) et détectez les blocages 403 du pare-feu. Saisissez une URL pour voir, bot par bot, si les robots de recherche, de récupération à la demande et d’entraînement sont autorisés — et si votre pare-feu les laisse réellement passer. - Utilisez-le gratuitement (sans inscription): https://yes-seo.com/fr/verificateur-robots-ia - API: `GET https://yes-seo.com/api/v1/ai-crawler-checker?url=https://example.com` - Son rôle: AI crawler checker: tests a site's robots.txt against 25+ AI bots (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent, Bytespider, Amazonbot, DuckAssistBot, MistralAI-User and more), grouped by purpose (search, user fetch, training), plus a live firewall test that requests the page with real AI user-agents to detect 403 blocks. Chaque entreprise d’IA exploite désormais plusieurs robots aux rôles différents. OAI-SearchBot d’OpenAI trouve les pages pour ChatGPT search, ChatGPT-User récupère une page lorsqu’on l’interroge à son sujet, et GPTBot collecte des données d’entraînement. Anthropic, Perplexity, Apple et Google répartissent leurs robots de façon comparable : une règle unique « autoriser l’IA » ou « bloquer l’IA » est donc un instrument grossier. Ce vérificateur de robots IA lit votre robots.txt et le teste face à plus de 25 user-agents IA, regroupés par finalité. Il demande ensuite votre page avec de vrais user-agents IA pour repérer les règles de pare-feu ou de CDN qui répondent 403 alors que le robots.txt dit oui. ## Comment vérifier l’accès des robots IA 1. **Saisissez l’URL de votre page** — Nous récupérons le robots.txt à la racine de cet hôte et testons l’URL exacte que vous avez saisie. 2. **Consultez le tableau d’accès** — Chaque bot indique s’il est autorisé ou bloqué, la règle qui en a décidé et s’il s’agit d’un robot de recherche, de récupération à la demande ou d’entraînement. 3. **Examinez le test en direct** — Un bot autorisé par le robots.txt qui reçoit pourtant un 403 ou une page de vérification est bloqué par votre pare-feu, votre CDN ou votre hébergeur. ## Les bots IA selon leur finalité | Entreprise | Recherche / index | Récupération à la demande | Entraînement | | --- | --- | --- | --- | | OpenAI | OAI-SearchBot | ChatGPT-User | GPTBot | | Anthropic | Claude-SearchBot | Claude-User | ClaudeBot | | Perplexity | PerplexityBot | Perplexity-User | — | | Google | Googlebot (Search, AI Overviews) | — | Google-Extended (entraînement et ancrage de Gemini) | | Apple | Applebot | — | Applebot-Extended | Le vérificateur couvre aussi `CCBot` (Common Crawl), `Meta-ExternalAgent`, `Bytespider`, `Amazonbot`, `DuckAssistBot`, `MistralAI-User` et d’autres. Deux jetons se comportent différemment. `Google-Extended` et `Applebot-Extended` ne visitent jamais votre site ; ce sont des jetons du robots.txt qui contrôlent l’usage du contenu récupéré par Googlebot ou Applebot. Bloquer `Google-Extended` n’a **aucun** effet sur le positionnement dans Google Search ni sur les AI Overviews, comme l’indique la [documentation de Google sur ses robots](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers?hl=fr). Les robots déclenchés par l’utilisateur agissent pour une personne qui a posé une question. [OpenAI précise](https://platform.openai.com/docs/bots) que les règles du robots.txt peuvent ne pas s’appliquer à `ChatGPT-User`, et `Perplexity-User` peut ne pas les suivre non plus. Pour en savoir plus : [robot d’exploration IA](https://yes-seo.com/fr/glossaire/robot-ia). ## Bloquer l’entraînement, rester dans la recherche IA Une politique courante consiste à laisser ouverts la recherche IA et les récupérations à la demande tout en refusant l’entraînement : ``` # Recherche IA et récupérations à la demande : autorisées, /admin/ reste privé User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot Disallow: /admin/ # Entraînement IA : bloqué User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot Disallow: / # Tous les autres User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml ``` Remarquez que `Disallow: /admin/` apparaît deux fois. Un robot n’obéit qu’au groupe le plus spécifique qui le nomme : un bot disposant de son propre groupe ignore donc tout ce qui figure sous `User-agent: *`. Construisez un fichier de ce type avec le [générateur de robots.txt](https://yes-seo.com/fr/generateur-robots-txt) et testez des URL précises avec le [testeur de robots.txt](https://yes-seo.com/fr/testeur-robots-txt). ## Quand le robots.txt dit oui mais que le bot reste bloqué Le robots.txt est une demande, pas une barrière. La barrière, c’est votre serveur, et c’est là que se produisent la plupart des blocages d’IA accidentels : - **Protection anti-bots du CDN.** Les CDN et les hébergeurs proposent des réglages qui bloquent les robots IA ou soumettent les bots inconnus à une vérification, en répondant par une erreur [403 Forbidden](https://yes-seo.com/fr/codes-http/403) ou une page de vérification. - **Règles de WAF et plugins de sécurité** qui bloquent les user-agents inconnus ou les plages d’adresses IP de centres de données. - **Limites de débit** qui renvoient [429 Too Many Requests](https://yes-seo.com/fr/codes-http/429) quand un bot récupère plusieurs pages rapidement. Le test en direct indique le code de statut reçu par chaque user-agent IA. Si GPTBot est autorisé dans le robots.txt mais reçoit un 403, regardez votre pare-feu, pas votre robots.txt. Vos journaux d’accès montrent ce que les vrais robots ont reçu : ``` # Codes de statut servis aux bots IA (format de journal combined d’Apache/Nginx) grep -E 'GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot' access.log \ | awk '{print $9}' | sort | uniq -c 412 200 37 403 ## Conseils pour gérer les robots IA - Décidez par finalité, pas par entreprise : les robots de recherche et de récupération à la demande peuvent envoyer des visiteurs, pas les robots d’entraînement. - Répétez les règles Disallow importantes dans chaque groupe nommé, car un bot disposant de son propre groupe ignore User-agent: *. - Relancez la vérification après toute modification du CDN ou d’un plugin de sécurité ; ils bloquent souvent les bots IA sans toucher au robots.txt. - Prévoyez un jour de délai : OpenAI et Perplexity indiquent tous deux que les mises à jour du robots.txt peuvent mettre environ 24 heures à prendre effet. - Utilisez une règle de pare-feu, pas le robots.txt, quand il vous faut un blocage ferme : le robots.txt ne fonctionne que pour les bots qui choisissent de lui obéir. ## Limites à garder en tête Les résultats du robots.txt montrent ce qu’on demande à chaque bot de faire ; son respect dépend de son opérateur. Le test en direct envoie de véritables chaînes de user-agent IA depuis nos serveurs, et non depuis les plages d’adresses IP des entreprises : un pare-feu qui vérifie les bots par leur IP peut donc traiter notre test autrement que le vrai robot — confirmez dans vos journaux serveur. Chaque exécution teste une URL ; pour une couverture plus large, testez les sections clés avec le [testeur de robots.txt](https://yes-seo.com/fr/testeur-robots-txt) ou lancez le [vérificateur SEO IA](https://yes-seo.com/fr/verificateur-seo-ia). ## Questions fréquentes ### Qu’est-ce qu’un robot d’exploration IA ? Un bot qui récupère des pages web pour un produit d’IA : pour construire un index de recherche destiné aux réponses IA, pour lire une page sur laquelle un utilisateur a posé une question, ou pour collecter des données d’entraînement. Chacun possède son propre jeton user-agent que vous pouvez cibler dans le robots.txt. ### Faut-il bloquer GPTBot ? C’est une décision d’entreprise. GPTBot ne collecte que des données d’entraînement, et le bloquer n’empêche pas OAI-SearchBot d’afficher vos pages dans ChatGPT search, car OpenAI traite ces deux réglages comme indépendants. ### Bloquer Google-Extended nuit-il à mon positionnement dans Google ? Non. Google indique que Google-Extended n’affecte ni l’inclusion ni le classement dans Google Search. Il contrôle seulement l’usage de votre contenu pour l’entraînement et l’ancrage de Gemini. ### Pourquoi un bot est-il bloqué alors que mon robots.txt l’autorise ? En général, un CDN, un pare-feu ou un plugin de sécurité renvoie un 403 à ce user-agent ou à cette plage d’IP. Le test en direct affiche le code de statut reçu par chaque bot, ce qui permet de distinguer les deux causes. ### Les bots IA respectent-ils le robots.txt ? Les principaux robots de recherche et d’entraînement affirment le faire. Les robots déclenchés par l’utilisateur sont différents : OpenAI indique que le robots.txt peut ne pas s’appliquer à ChatGPT-User, et Perplexity-User peut ne pas le suivre. ### Combien de bots IA le vérificateur teste-t-il ? Plus de 25, dont des agents d’OpenAI, Anthropic, Perplexity, Google, Apple, Meta, ByteDance, Amazon, DuckDuckGo, Mistral et Common Crawl. Chaque résultat est étiqueté comme robot de recherche, de récupération à la demande ou d’entraînement : vous voyez d’un coup d’œil ce que vous autorisez.