Indexation

L'indexation est le moment où un moteur de recherche analyse une page qu'il a explorée et en range les informations dans son index, une immense base de données. C'est dans cet index, et non sur le web en direct, que le moteur cherche les réponses à chaque requête. Une page absente de l'index n'a donc aucune chance d'apparaître dans les résultats, quelle que soit sa qualité.

Ce qui se passe pendant l'indexation

L'indexation suit le crawl. Une fois la page téléchargée par Googlebot et son JavaScript exécuté dans une version récente de Chrome, Google en analyse le texte, les balises et attributs importants, comme la balise title ou l'attribut alt, ainsi que les images et les vidéos.

Il regroupe ensuite les pages au contenu très proche et choisit, dans chaque groupe, celle qui le représente le mieux : la page canonique, celle qui pourra être montrée dans les résultats. La balise canonical permet d'indiquer une préférence, mais c'est Google qui tranche, et l'outil d'inspection d'URL affiche l'URL canonique qu'il a retenue. Le moteur enregistre aussi des signaux comme la langue de la page, le pays qu'elle concerne ou sa facilité d'utilisation.

Google explore et indexe les pages à partir de leur version mobile : c'est l'indexation mobile-first. Depuis juillet 2024, tous les sites sont explorés par Googlebot pour smartphone, et un site dont le contenu est inaccessible sur mobile ne peut plus être indexé. Un contenu présent sur ordinateur mais absent de la version mobile risque donc de ne pas être pris en compte.

Pourquoi une page n'est pas indexée

Google le dit clairement : toutes les pages qu'il traite ne sont pas indexées, et il ne garantit l'indexation d'aucune. Le rapport Indexation des pages de la Google Search Console donne la raison pour chaque URL écartée. Les plus fréquentes :

• « Détectée, actuellement non indexée » : Google connaît l'URL mais ne l'a pas encore explorée, souvent pour ne pas surcharger le site ;
• « Explorée, actuellement non indexée » : la page a été explorée sans être retenue pour l'instant ;
• « Page en double sans URL canonique sélectionnée par l'utilisateur » : Google la considère comme une copie d'une autre page ;
• « URL marquée “noindex” » ou « URL bloquée par le fichier robots.txt » : une consigne du site empêche l'indexation ou l'exploration ;
• une erreur 404, une soft 404, une erreur serveur ou une redirection.

Une URL non indexée n'est pas forcément un problème. Google rappelle qu'il ne faut pas s'attendre à voir toutes les URL d'un site indexées : seules les pages canoniques ont vocation à l'être, et les doublons comme les pages volontairement exclues doivent rester dehors. L'inquiétude n'est justifiée que lorsqu'une page importante figure dans la liste. Quand une bonne page reste « explorée, actuellement non indexée », les SEO y voient souvent le signe d'un contenu jugé trop faible ou trop proche d'autres pages ; Google, lui, ne détaille pas ses raisons.

Exclure une page de l'index

Pour qu'une page n'apparaisse pas dans les résultats, la méthode documentée par Google est la règle noindex, dans une balise meta robots ou dans un en-tête HTTP :

<meta name="robots" content="noindex">

X-Robots-Tag: noindex

L'en-tête fonctionne aussi pour les fichiers non HTML, comme les PDF. Piège classique : bloquer la même page dans le fichier robots.txt. Le robot ne peut plus la lire, il ne voit donc jamais la règle noindex, et l'URL peut rester dans les résultats si d'autres pages pointent vers elle. Google ne prend pas non plus en charge une directive noindex écrite dans le robots.txt.

Faire indexer une page

L'outil d'inspection d'URL de la Search Console indique si une URL « est sur Google », quelle URL canonique a été retenue et quand la page a été explorée pour la dernière fois. Son bouton « Demander une indexation » place l'URL dans une file d'attente : le traitement prend en général un jour environ, parfois jusqu'à une ou deux semaines, et le nombre de demandes quotidiennes est limité. Pour un grand nombre de pages, Google recommande plutôt un sitemap XML. Après correction d'un problème signalé dans le rapport, le bouton « Valider la correction » lance une vérification qui prend généralement deux semaines environ.

Aucune demande ne force l'indexation. Une page reliée aux autres par le maillage interne, au contenu original et utile, reste la meilleure candidate.