Crawl

Le crawl, que Google traduit en français par « exploration », désigne le travail des robots qui parcourent le web pour télécharger des pages. Ces programmes, appelés crawlers ou robots d'exploration, partent d'URL connues, récupèrent leur contenu, repèrent les liens qu'elles contiennent et ajoutent les nouvelles adresses à leur liste de visites. Le robot de Google s'appelle Googlebot.

Comment un robot découvre les pages

Il n'existe pas de registre central de toutes les pages du web. Google doit donc chercher en permanence les pages nouvelles ou modifiées. Il en trouve la plupart en suivant les liens de pages déjà connues, d'autres grâce aux sitemaps XML que les sites lui transmettent. Un programme décide ensuite quels sites explorer, à quelle fréquence et combien de pages récupérer sur chacun.

Google décrit un fonctionnement prudent : Googlebot ralentit lorsqu'un serveur montre des signes de fatigue, par exemple des erreurs HTTP 500. Pour la plupart des sites, il ne devrait pas accéder aux pages plus d'une fois toutes les quelques secondes en moyenne. La majorité de ses requêtes viennent de Googlebot Smartphone, qui simule un appareil mobile, car Google indexe en priorité la version mobile des sites.

Télécharger une page ne suffit pas toujours à en voir le contenu. Beaucoup de sites affichent leur texte grâce à JavaScript ; Google exécute donc les scripts avec une version récente de Chrome. Cette étape s'appelle le rendu JavaScript.

Crawl et indexation, deux étapes distinctes

Une page explorée n'est pas forcément indexée, et une page jamais explorée peut parfois apparaître dans les résultats. C'est le cas d'une URL bloquée dans le fichier robots.txt mais citée par d'autres sites : Google peut l'afficher sans description, puisqu'il n'a pas lu la page. Chaque objectif a donc son outil. Pour empêcher l'exploration, on utilise le robots.txt ; pour empêcher l'indexation, la règle noindex ; pour interdire l'accès à tout le monde, robots comme visiteurs, une protection par mot de passe.

Le crawl budget

Google définit le crawl budget comme l'ensemble des URL qu'il peut et veut explorer sur un site. Deux notions le composent : la capacité d'exploration, c'est-à-dire ce que le serveur supporte sans ralentir, et la demande d'exploration, liée à la taille du site, à la popularité des pages et à leur fréquence de mise à jour. Google précise que le sujet concerne surtout les sites de plus d'un million de pages modifiées chaque semaine, ou de plus de 10 000 pages modifiées chaque jour. Pour la plupart des autres sites, il n'y a pas lieu de s'en préoccuper.

Sur un gros site, quelques habitudes évitent de gaspiller l'exploration :

• limiter les URL en double, souvent créées par des filtres ou des paramètres ;
• renvoyer un code 404 ou 410 pour les pages supprimées et corriger les soft 404 ;
• éviter les chaînes de redirections ;
• tenir le sitemap à jour, avec des dates de modification exactes ;
• accélérer les pages et répondre par un code 304 quand un contenu n'a pas changé.

Google déconseille en revanche d'utiliser noindex pour économiser de l'exploration : il continue de demander ces pages, ne serait-ce que pour lire la règle.

Observer le crawl

Les journaux du serveur enregistrent chaque passage de robot, avec l'URL demandée, la date et le code de réponse. Leur étude, l'analyse de logs, montre ce que Googlebot explore réellement, ce qu'il délaisse et où il perd du temps. Comme l'en-tête user-agent est facile à imiter, Google recommande de vérifier qu'une visite vient bien de lui, par une recherche DNS inverse sur l'adresse IP ou en la comparant aux plages d'adresses qu'il publie.

Des logiciels d'audit, souvent appelés crawlers SEO, reproduisent aussi le parcours d'un robot sur un site pour repérer liens cassés, redirections ou pages trop profondes. Ils simulent l'exploration, mais ne disent pas ce que Google a effectivement visité.

Les robots d'IA

D'autres robots parcourent le web pour des services d'intelligence artificielle. OpenAI distingue par exemple GPTBot, qui collecte des pages pouvant servir à entraîner ses modèles, et OAI-SearchBot, qui détermine quels sites apparaissent dans les réponses de recherche de ChatGPT. Chacun se gère séparément dans le robots.txt, ce qui permet d'accepter l'un et de refuser l'autre.