Googlebot

Avant qu'une page puisse apparaître dans les résultats de Google, un programme doit la télécharger. Ce programme s'appelle Googlebot. Il découvre les pages par les liens qui y mènent, par les fichiers sitemap XML et par les URL qu'il connaît déjà, puis il décide lui-même quels sites explorer, à quelle fréquence et combien de pages récupérer sur chacun. Cette étape s'appelle le crawl ; elle précède l'indexation.

Deux robots sous un même nom

Googlebot désigne en réalité deux robots : Googlebot Smartphone, qui se présente comme un navigateur mobile, et Googlebot Desktop, qui simule un ordinateur. Comme Google pratique l'indexation mobile-first pour la plupart des sites, la plupart des visites viennent du robot mobile. Les deux se distinguent dans l'en-tête User-Agent des requêtes, qui contient notamment la mention compatible; Googlebot/2.1; +http://www.google.com/bot.html.

En revanche, les deux robots obéissent au même jeton dans le fichier robots.txt : Googlebot. Il est donc impossible de bloquer l'un sans l'autre par ce moyen.

User-agent: Googlebot
Disallow: /panier/
Disallow: /recherche-interne/

Google utilise par ailleurs d'autres robots aux rôles spécialisés, comme Googlebot Image ou Googlebot Video, qui peuvent appliquer des limites de taille différentes.

Ce que Googlebot télécharge

La documentation officielle de Googlebot fixe des limites précises. Pour la recherche Google, le robot récupère les 2 premiers Mo d'un fichier de type pris en charge, et les 64 premiers Mo d'un PDF. La limite s'applique aux données non compressées. Chaque ressource appelée par le HTML (feuille de style, script) est téléchargée séparément, avec la même limite. Au-delà, Googlebot arrête le téléchargement et ne transmet à l'indexation que la partie déjà récupérée : un contenu placé très bas dans une page HTML très lourde risque d'être ignoré.

Côté rythme, Google indique que, pour la plupart des sites, Googlebot ne devrait pas accéder au site plus d'une fois toutes les quelques secondes en moyenne. Des pics ponctuels restent possibles. Le robot ralentit de lui-même quand le serveur montre des signes de saturation, et les réponses 5xx ou 429 l'incitent à espacer temporairement ses visites.

L'exécution du JavaScript

Googlebot ne se contente pas du HTML brut. Les pages qui répondent avec un code 200 passent dans une file d'attente de rendu, où une version récente de Chromium exécute le JavaScript. Le contenu ajouté par les scripts devient alors visible pour l'indexation. Deux conditions s'appliquent : les fichiers JavaScript ne doivent pas être bloqués par le robots.txt, et les liens doivent rester de vrais éléments <a href> pour être découverts. Le rendu JavaScript reste une étape supplémentaire, ce qui explique pourquoi le rendu côté serveur garde son intérêt.

Bloquer l'exploration n'empêche pas l'indexation

C'est la confusion la plus répandue. Une règle Disallow dans le robots.txt empêche Googlebot d'explorer une page, mais pas l'URL d'apparaître dans les résultats si d'autres pages y font des liens. Pour exclure une page de l'index, il faut une directive noindex, et la page doit rester accessible au robot pour qu'il puisse la lire. Pour rendre un contenu inaccessible à tous, robots comme visiteurs, Google renvoie à une méthode comme la protection par mot de passe. Bloquer Googlebot a aussi des effets sur Google Discover, Google Images, Google Vidéos et Google Actualités.

Vérifier qu'il s'agit bien de Googlebot

L'en-tête User-Agent se falsifie facilement, et de nombreux robots se font passer pour Googlebot. Google propose deux méthodes de vérification. La première repose sur une double requête DNS :

host 66.249.66.1
# résultat : crawl-66-249-66-1.googlebot.com

host crawl-66-249-66-1.googlebot.com
# résultat : 66.249.66.1

Le nom obtenu doit appartenir à googlebot.com, google.com ou googleusercontent.com, et la requête inverse doit renvoyer la même adresse IP. La seconde méthode compare l'adresse aux plages publiées par Google, au format CIDR, dans le fichier common-crawlers.json pour les robots courants. Cette vérification est utile lors d'une analyse de logs, avant de tirer des conclusions sur le passage du robot ou de bloquer une adresse jugée suspecte.