Noindex

La directive noindex sert à exclure une page des résultats de recherche tout en la laissant accessible aux visiteurs. Quand Googlebot explore la page et lit la règle, il retire la page des résultats Google, même si d'autres sites pointent vers elle. Elle agit sur l'indexation, pas sur l'exploration : c'est la différence de fond avec le fichier robots.txt.

Deux façons de la déclarer

Dans le code HTML

La méthode la plus courante passe par la balise meta robots, placée dans la section head de la page :

<meta name="robots" content="noindex">

La valeur robots s'adresse à tous les moteurs qui prennent en charge la règle. Pour ne viser que Google, on remplace robots par googlebot. Plusieurs règles peuvent se combiner, par exemple noindex, nofollow.

Dans l'en-tête HTTP

Pour un fichier qui n'est pas du HTML, comme un PDF, une image ou une vidéo, la règle passe par l'en-tête de réponse du serveur :

HTTP/1.1 200 OK
X-Robots-Tag: noindex

La valeur none produit le même effet sur l'indexation. Sur un CMS comme WordPress, Wix ou Blogger, il est souvent plus simple de passer par les réglages de visibilité du CMS ou d'une extension SEO que de modifier le code.

Le piège du robots.txt

C'est l'erreur la plus répandue. Pour que la directive soit lue, la page doit pouvoir être explorée. Si le fichier robots.txt bloque l'URL, le robot ne voit jamais la balise, et la page peut tout de même apparaître dans les résultats lorsque d'autres pages font des liens vers elle. Google ne prend pas en charge non plus une règle noindex écrite dans le fichier robots.txt lui-même.

Pour retirer une page de l'index, l'ordre est donc le suivant : laisser l'exploration ouverte, ajouter la directive, attendre que la page disparaisse, et seulement ensuite bloquer l'exploration si c'est utile.

Quand l'utiliser

• Pages sans intérêt dans les résultats : panier, compte client, confirmation de commande, résultats de recherche interne.
• Pages légales ou de service que l'on préfère ne pas voir apparaître sur le nom de l'éditeur.
• Versions de test ou de préproduction ouvertes sur Internet.
• Contenus très pauvres que l'on garde pour les visiteurs mais qui n'ont pas vocation à se positionner.

Pour des pages en double qui méritent d'être regroupées, la balise canonical ou une redirection 301 conviennent mieux : elles indiquent quelle URL garder, alors que la directive noindex se contente d'en écarter une.

Délai et vérification

La directive ne prend effet qu'au prochain passage du robot. Selon l'importance de la page, ce passage peut prendre plusieurs mois, d'après Google. L'outil d'inspection d'URL de la Google Search Console permet de demander une nouvelle exploration et de voir le code HTML réellement reçu par Googlebot, donc de vérifier que la balise est bien présente. Le rapport d'indexation des pages liste ensuite les URL exclues par une balise noindex. Pour un retrait urgent, Google propose un outil de suppression distinct.

Les erreurs fréquentes

La directive oubliée après une mise en ligne arrive plus souvent qu'on ne le croit : le site de préproduction était protégé par un noindex global, et le réglage passe en production. Les pages sortent alors des résultats au fil des passages du robot. Autre cas : une version mobile qui porte une balise différente de la version ordinateur. Avec l'indexation mobile-first, Google demande d'utiliser les mêmes balises meta robots sur les deux versions, faute de quoi une page peut cesser d'être indexée.

Enfin, tous les moteurs ne traitent pas la règle de la même façon. Google rappelle que certains peuvent l'interpréter autrement : une page en noindex peut donc rester visible ailleurs que sur Google.