Robots d'IA : ce que votre robots.txt autorise

Un modèle ne peut pas citer une page qu’il n’a pas pu lire. Avant toute réflexion sur la formulation ou la structure des contenus, la première vérification consiste donc à ouvrir votre fichier robots.txt et à regarder ce qu’il autorise réellement. L’opération prend cinq minutes et règle, à elle seule, une bonne partie des cas d’invisibilité dans les réponses génératives.

C’est aussi la vérification la plus souvent sautée, parce que personne ne se souvient d’avoir bloqué quoi que ce soit.

Quels robots d’IA visitent votre site ?

Tous ces robots ne servent pas la même chose, et c’est précisément ce qui rend les décisions de blocage confuses.

Robot	Éditeur	À quoi il sert
GPTBot	OpenAI	Collecte pour l’entraînement des modèles
OAI-SearchBot	OpenAI	Index utilisé par la recherche de ChatGPT
ChatGPT-User	OpenAI	Récupération d’une page demandée par un utilisateur
ClaudeBot	Anthropic	Collecte pour l’entraînement
Claude-SearchBot	Anthropic	Index de recherche
PerplexityBot	Perplexity	Index de Perplexity
Google-Extended	Google	Entraînement et ancrage des réponses de Gemini
Applebot-Extended	Apple	Entraînement d’Apple Intelligence
Bingbot	Microsoft	Index de Bing, qui alimente Copilot

La distinction déterminante est celle entre entraînement et recherche. Bloquer GPTBot empêche vos contenus de nourrir les futurs modèles d’OpenAI, mais n’a aucun effet sur votre présence dans les réponses de ChatGPT lorsqu’il effectue une recherche : c’est OAI-SearchBot qui fait ce travail. Une entreprise qui souhaite être citée sans alimenter l’entraînement peut donc bloquer le premier et autoriser le second.

Que contrôle réellement Google-Extended ?

Google-Extended ne contrôle ni l’exploration par Googlebot, ni l’indexation, ni la présence dans les résultats de recherche. Il ne contrôle pas davantage l’inclusion dans les AI Overviews, qui s’appuient sur l’index de recherche classique.

Ce qu’il contrôle, c’est l’utilisation de vos pages pour l’entraînement des modèles Gemini et pour l’ancrage de leurs réponses.

La conséquence est contre-intuitive et vaut d’être retenue : bloquer Google-Extended ne vous fait pas sortir des AI Overviews, mais vous prive des citations dans Gemini. Beaucoup d’articles affirment l’inverse. Si vous avez pris cette décision sur la foi de l’un d’eux, elle mérite d’être revue.

Pourquoi un site bloque-t-il les robots sans le savoir ?

Dans la majorité des cas rencontrés, personne n’a jamais rédigé la ligne qui bloque. Elle est arrivée toute seule.

Par le pare-feu ou le CDN. Cloudflare propose un blocage des robots d’IA en un clic, et l’applique par défaut aux nouveaux domaines. Le blocage n’apparaît alors pas dans le robots.txt : il se produit en amont, au niveau du réseau, et se traduit par une erreur 403 que vous ne verrez jamais dans vos statistiques.

Par une extension. Les modules de sécurité et de cache des CMS répandus proposent presque tous une option « bloquer les robots d’IA », parfois activée par défaut, souvent cochée par quelqu’un qui passait par là.

Par héritage. Un robots.txt recopié d’un ancien site, ou fourni par une agence en 2024 quand la question se posait autrement.

Par un Disallow trop large. Une règle Disallow: /wp-content/ qui bloque les images, ou un Disallow: /*? qui emporte des pages entières de catalogue.

Comment vérifier son robots.txt en cinq minutes ?

Ouvrez votresite.fr/robots.txt dans un navigateur. Cherchez chacun des robots du tableau. Un Disallow: / sous l’un d’eux le bloque intégralement.

Un fichier absent n’est pas un problème : en l’absence de robots.txt, tout est autorisé.

Le blocage réseau, lui, ne se voit pas dans le fichier. Pour le détecter, il faut demander la page en se présentant comme le robot :

curl -A "GPTBot" -I https://votresite.fr/

Une réponse 200 signifie que la page est servie. Un 403 ou un 429 signale un blocage au niveau du pare-feu ou du CDN, quel que soit le contenu du robots.txt.

Dernier point, souvent le vrai coupable : demandez la page sans exécuter de JavaScript et regardez ce qui reste. Si le contenu principal est injecté côté client, un robot qui n’exécute pas de script ne verra qu’une coquille vide. Il aura eu l’autorisation d’entrer, et n’aura rien trouvé.

Faut-il tout autoriser ?

Non, et la réponse dépend de ce que vous vendez.

Un site dont le contenu est le produit lui-même, media, base documentaire, cours en ligne, a des raisons légitimes de refuser l’entraînement. Il peut bloquer GPTBot, ClaudeBot, Google-Extended et Applebot-Extended, tout en laissant passer les robots de recherche pour rester citable.

Un site vitrine, une entreprise de services, un commerce local n’ont rien à protéger de cette nature. Le contenu existe pour être trouvé. Le bloquer revient à décliner une visibilité qu’on cherche par ailleurs à obtenir.

Entre les deux, un arbitrage à faire une fois, sciemment. Ce qu’il faut éviter, c’est de le subir.

Que change le déblocage des robots d’IA ?

Débloquer les robots ne fait apparaître personne dans une réponse générative. C’est une condition d’entrée, pas un levier de position : ce qui décide de la citation vient après, dans la façon dont la page est structurée et dont ses réponses sont formulées.

Mais tant que la condition n’est pas remplie, tout le reste du travail est inutile. Autant commencer par là.

Si vous ne savez pas ce que votre site sert réellement aux robots d’IA, décrivez votre situation : la vérification fait partie de tout audit GEO mené par Kerith, et la réponse arrive sous 48 heures ouvrées.