Crawl budget

Le crawl budget, ou budget d'exploration, décrit la quantité de pages que Googlebot visite sur un site. Google le définit comme l'ensemble des URL qu'il peut et qu'il veut explorer. Cette définition réunit deux contraintes : ce que le serveur est capable de supporter, et ce que Google juge utile de visiter.

Capacité d'exploration et besoin d'exploration

La limite de capacité d'exploration protège le serveur. Elle dépend du nombre de connexions que Googlebot ouvre en parallèle sur le site et du temps qu'elles durent. Elle augmente quand le site répond vite et sans erreur. Elle diminue quand les temps de réponse s'allongent ou que le serveur renvoie des erreurs 5xx ou des codes HTTP 429.

Le besoin d'exploration dépend de la taille du site, de la fréquence de ses mises à jour, de la qualité et de la pertinence de ses pages. Google cite trois éléments : l'inventaire perçu, c'est-à-dire les URL du site que Google connaît, dont beaucoup peuvent être inutiles, la popularité des pages et leur fraîcheur. L'inventaire est celui sur lequel l'éditeur a le plus de prise.

Quels sites sont concernés ?

La plupart des sites n'ont pas à s'en soucier. Le guide de Google sur le budget d'exploration vise des cas précis, donnés comme des ordres de grandeur :

• les grands sites de plus d'un million de pages uniques dont le contenu change environ une fois par semaine ;
• les sites moyens de plus de 10 000 pages uniques dont le contenu change chaque jour ;
• les sites dont une grande part des URL reste au statut « Détectée, actuellement non indexée » dans Google Search Console.

Un site dont les nouvelles pages sont explorées le jour même de leur publication n'a besoin que d'un sitemap XML à jour et d'un coup d'œil régulier au rapport sur l'indexation des pages.

Ce qui consomme le budget

Toute URL demandée par Googlebot compte : une page, une version alternative (AMP, hreflang) ou une ressource comme un fichier CSS, un script JavaScript ou un appel XHR. Dans un article de janvier 2017, Gary Illyes, de Google, classait les URL de faible valeur qui gaspillent l'exploration, des plus pénalisantes aux moins pénalisantes : la navigation à facettes et les identifiants de session, le contenu dupliqué interne, les pages d'erreur « soft 404 », les pages piratées, les espaces infinis et les proxys, puis les contenus de faible qualité ou de spam.

Un site e-commerce en donne un exemple classique. Une catégorie de 200 produits, filtrable par couleur, taille, marque et prix, peut générer des milliers de combinaisons d'URL au contenu presque identique. Le robot passe alors son temps sur ces variantes au lieu de découvrir les nouvelles fiches produits.

Ce que Google recommande

Les consignes de Google tiennent en quelques gestes. Regrouper le contenu dupliqué pour que l'exploration se concentre sur les pages uniques. Bloquer dans le fichier robots.txt les URL qui ne doivent jamais être explorées, comme certains tris ou filtres. Renvoyer un code 404 ou 410 pour les pages supprimées définitivement, et corriger les erreurs soft 404, qui continuent d'être explorées. Éviter les longues chaînes de redirections. Tenir à jour le sitemap XML avec la balise <lastmod> pour signaler les contenus modifiés. Accélérer le serveur et gérer le code 304 Not Modified, qui permet de servir plus de pages avec les mêmes ressources.

Quand la capacité du serveur est le facteur limitant, par exemple si l'outil d'inspection d'URL signale que la charge de l'hôte est dépassée, il faut ajouter des ressources au serveur. Sinon, c'est la qualité, l'utilité et l'unicité des contenus qui font augmenter le besoin d'exploration.

Les erreurs fréquentes

Utiliser la balise noindex pour économiser du budget ne fonctionne pas : Google doit quand même demander la page pour lire la directive, le temps d'exploration est donc dépensé. Bloquer temporairement des sections dans le robots.txt pour « réaffecter » le budget ailleurs est aussi déconseillé par Google. Quant à la directive crawl-delay, Googlebot ne la prend pas en compte. Enfin, un lien en nofollow ne protège pas une URL de l'exploration si un autre lien, sur le site ou ailleurs, pointe vers elle sans cet attribut.

Explorer plus ne fait pas mieux classer

Une exploration plus fréquente n'améliore pas le classement. Google le dit sans ambiguïté : l'exploration est nécessaire pour figurer dans les résultats, mais ce n'est pas un signal de classement. Une page explorée n'est d'ailleurs pas forcément indexée. Pour savoir où passe réellement le robot, l'analyse de logs du serveur donne la vue la plus directe, complétée par le rapport « Statistiques sur l'exploration » de la Search Console.