Robots.txt

Le robots.txt est un fichier texte, placé à la racine d'un site, qui indique aux robots d'exploration les adresses qu'ils sont autorisés à parcourir. Son principe a été défini en 1994 par Martijn Koster, puis normalisé en septembre 2022 par l'IETF dans la RFC 9309, sous le nom de protocole d'exclusion des robots. Selon Google, il sert d'abord à éviter qu'un site soit surchargé de requêtes.

Où le placer

Le fichier se trouve obligatoirement à la racine : https://www.exemple.fr/robots.txt. Ses règles ne valent que pour l'hôte, le protocole et le port où il est publié : un sous-domaine comme boutique.exemple.fr a besoin de son propre fichier. Google attend un texte encodé en UTF-8 et ignore tout ce qui dépasse 500 Kio.

Syntaxe

User-agent: *
Disallow: /panier/
Disallow: /*?tri=
Allow: /panier/aide/

User-agent: GPTBot
Disallow: /

Sitemap: https://www.exemple.fr/sitemap.xml

Un groupe commence par une ligne User-agent, qui nomme le robot visé, ou * pour tous. Suivent des règles Disallow, qui interdisent un chemin, et Allow, qui en autorisent un. Le caractère * remplace n'importe quelle suite de caractères et $ marque la fin d'une URL. La ligne Sitemap donne l'adresse du sitemap XML.

Quelques règles de lecture évitent les surprises. Un robot n'applique que le groupe le plus précis qui le concerne : Googlebot ignore le groupe * dès qu'un groupe Googlebot existe. Entre deux règles qui visent la même URL, Google retient celle dont le chemin est le plus long et, en cas de conflit, la moins restrictive. Les chemins sont sensibles à la casse : /Panier/ et /panier/ ne désignent pas la même chose.

Ce que le robots.txt ne fait pas

Il bloque l'exploration, pas l'indexation. Google le rappelle dans sa présentation du fichier robots.txt : une URL interdite peut quand même apparaître dans les résultats si d'autres pages pointent vers elle, simplement sans description. Pour retirer une page de l'index, il faut au contraire la laisser explorable et utiliser la règle noindex, ou la protéger par un mot de passe.

Il ne protège rien non plus. La RFC 9309 précise que ces règles ne constituent pas une forme d'autorisation d'accès : le fichier est public, et seuls les robots qui le veulent bien le respectent. Lister des répertoires confidentiels dans un robots.txt revient même à signaler leur existence.

Enfin, Google ne reconnaît que quatre champs : user-agent, allow, disallow et sitemap. La directive crawl-delay est ignorée par Google, et depuis le 1er septembre 2019, il n'applique plus les règles non documentées comme noindex écrites dans ce fichier.

Quand le fichier est inaccessible

Le code HTTP renvoyé par le fichier change son interprétation. Une erreur 404, comme toute erreur 4xx sauf la 429, est lue comme l'absence de fichier : tout devient explorable. Une erreur serveur 5xx a l'effet inverse : Google interrompt l'exploration du site pendant les 12 premières heures, puis s'appuie jusqu'à 30 jours sur la dernière version valide qu'il a conservée. En temps normal, Google garde le fichier en cache jusqu'à 24 heures, ce qui explique qu'une modification ne soit pas prise en compte à la minute.

Erreurs fréquentes

La plus coûteuse est un Disallow: / oublié lors de la mise en ligne d'un site préparé sur un serveur de test : il ferme le site entier aux robots. Bloquer les fichiers CSS ou JavaScript nécessaires à l'affichage pose aussi problème, car Google recommande de ne pas le faire lorsque leur absence rend la page plus difficile à comprendre. Dernier piège classique : interdire l'exploration d'une page qui porte une règle noindex, que le robot ne pourra jamais lire.

Les robots d'IA

Le robots.txt sert aussi à encadrer les robots d'IA. OpenAI permet ainsi de bloquer GPTBot, qui collecte des pages pour entraîner ses modèles, indépendamment d'OAI-SearchBot, qui détermine la présence d'un site dans la recherche de ChatGPT. L'entreprise précise toutefois que ChatGPT-User, qui visite une page à la demande d'un utilisateur, peut ne pas appliquer ces règles. Chez Google, le jeton Google-Extended permet de refuser l'usage des contenus pour entraîner les modèles Gemini et pour l'ancrage de leurs réponses, sans effet sur la présence ni sur le classement dans la recherche Google.