Robots d'IA
Aussi appelé : crawler IA, crawlers IA, bot IA, AI crawler
Définition. Les robots d'IA sont les programmes d'exploration des éditeurs d'intelligence artificielle qui visitent les pages web pour entraîner des modèles, alimenter un moteur de réponse ou lire une page à la demande d'un utilisateur.
Les robots d'IA sont des programmes qui parcourent le web pour le compte des éditeurs d'intelligence artificielle : OpenAI, Anthropic, Perplexity, Google ou Apple. Ils fonctionnent comme Googlebot, en demandant des pages à un serveur, mais leurs usages diffèrent. Tous ne collectent pas les pages pour la même raison, et c'est cette raison qui détermine la bonne décision à prendre dans le fichier robots.txt.
Trois familles de robots
Les principaux éditeurs séparent leurs robots selon leur fonction. Un site peut donc accepter l'un et refuser l'autre.
| Fonction | Exemples de robots | Effet d'un blocage |
|---|---|---|
| Entraînement des modèles | GPTBot (OpenAI), ClaudeBot (Anthropic) | Les pages ne servent plus à entraîner les futurs modèles |
| Index d'un moteur de réponse | OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot | Le site risque de ne plus être cité dans les réponses de ces moteurs |
| Lecture à la demande d'un utilisateur | ChatGPT-User, Claude-User, Perplexity-User | L'assistant ne peut plus ouvrir la page quand un utilisateur le lui demande |
OpenAI précise que chaque réglage est indépendant des autres : un site peut rester visible dans la recherche de ChatGPT tout en refusant que ses pages servent à l'entraînement. Perplexity indique que PerplexityBot sert à afficher et à citer des sites dans ses résultats, et non à entraîner des modèles de fondation.
Les jetons sans robot : Google-Extended et Applebot-Extended
Google et Apple ont choisi un autre mécanisme. Google-Extended n'est pas un robot : c'est un jeton que l'on cite dans le fichier robots.txt, sans chaîne user-agent propre, l'exploration restant faite par les robots habituels de Google. Il permet de refuser que les pages servent à entraîner les modèles Gemini et à ancrer leurs réponses dans certains services. Google affirme qu'il n'a aucun effet sur la présence d'un site dans la recherche Google et qu'il n'est pas un signal de classement. Les AI Overviews et le AI Mode relèvent eux des règles appliquées à Googlebot, comme le reste de la recherche.
Applebot-Extended suit la même logique. Il n'explore aucune page et indique seulement si les données collectées par Applebot peuvent entraîner les modèles d'Apple. Selon Apple, les pages qui le refusent restent éligibles à ses fonctions de recherche, et ce choix n'entre pas dans le classement.
Exemple de fichier robots.txt
Ce fichier refuse l'entraînement chez OpenAI, Anthropic, Google et Apple, mais laisse les moteurs de réponse indexer le site :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /Un robot cherche le groupe qui porte son nom, sans tenir compte des majuscules, et n'applique le groupe * que si aucun groupe ne le désigne. Anthropic rappelle que la règle doit être placée dans le fichier robots.txt de chaque sous-domaine concerné. L'entreprise accepte aussi la directive non standard Crawl-delay pour espacer les visites.
Les limites du fichier robots.txt
La norme qui encadre ce fichier, la RFC 9309 publiée en septembre 2022, le dit clairement : ces règles ne constituent pas une autorisation d'accès. Elles reposent sur la bonne volonté de chaque robot. Les robots qui agissent à la demande d'un utilisateur sont un cas à part. OpenAI écrit que les règles du fichier robots.txt peuvent ne pas s'appliquer à ChatGPT-User, et Perplexity que Perplexity-User les ignore en général, puisque la visite est déclenchée par une personne.
Le nom envoyé par un robot peut aussi être usurpé. Pour vérifier qu'une visite vient bien du robot annoncé, OpenAI et Anthropic publient la liste de leurs adresses IP. Anthropic prévient en revanche que bloquer ces adresses ne garantit pas durablement un refus : le fichier robots.txt reste la méthode qu'il recommande.
Comment décider
Le choix dépend du modèle économique du site. Un média qui vit de ses lecteurs peut refuser l'entraînement tout en restant visible dans les moteurs de réponse, d'où viennent des citations et des visites. Une entreprise de services peut préférer laisser passer les robots d'indexation, pour rester citée quand ces moteurs répondent à des questions sur son métier. Dans tous les cas, l'analyse de logs permet de voir quels robots visitent réellement le site, à quelle fréquence et sur quelles pages, avant de modifier quoi que ce soit.
Voir aussi
Sources
- Google : robots d'exploration courants, dont Google-Extended
- OpenAI : présentation des robots OAI-SearchBot, GPTBot et ChatGPT-User
- Anthropic : exploration du web et blocage des robots ClaudeBot, Claude-User et Claude-SearchBot
- Perplexity : robots PerplexityBot et Perplexity-User
- Apple : à propos d'Applebot et d'Applebot-Extended
- IETF : RFC 9309, Robots Exclusion Protocol
Publié le 21 novembre 2026, par Alexis Marques.