Aller au contenu

SEO technique

Analyse de logs

Aussi appelé : logs serveur, analyse des logs, log analysis, fichiers de logs

Définition. L'analyse de logs consiste à étudier les fichiers journaux d'un serveur web pour savoir quelles URL les robots des moteurs de recherche explorent réellement, à quelle fréquence et avec quelle réponse.

Chaque fois qu'un navigateur ou un robot demande une ressource, le serveur web écrit une ligne dans un fichier journal, le log d'accès. Ce fichier enregistre tout, visiteurs humains comme robots. Pour le SEO, son intérêt tient en une phrase : c'est la seule trace directe du passage de Googlebot sur le site. Un outil d'exploration simule le crawl, le log montre ce qui s'est vraiment passé.

À quoi ressemble une ligne de log

Le format le plus répandu est le format combiné d'Apache, que reprennent de nombreux serveurs. Voici une ligne type, correspondant au passage de Googlebot Smartphone :

66.249.66.1 - - [12/Mar/2026:08:14:03 +0100] "GET /chaussures/derby-cuir/ HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

On y lit, dans l'ordre, l'adresse IP du client, deux champs d'identification souvent vides, la date et l'heure, la ligne de requête (méthode, chemin, protocole), le code de réponse HTTP, la taille de la réponse en octets, la page de provenance (referer) et enfin l'agent utilisateur, c'est-à-dire la manière dont le client se présente. Dans la chaîne de Googlebot, W.X.Y.Z représente la version de Chrome, qui change avec le temps.

Ce que les logs révèlent

Croisés avec la liste des pages du site, les logs répondent à des questions qu'aucun autre outil ne traite aussi directement :

  • quelles pages importantes Googlebot ne visite jamais, ou très rarement ;
  • quelles URL sans intérêt absorbent une part du crawl (paramètres de tri, filtres, anciennes URL) ;
  • quels codes reçoit le robot : une erreur 404 sur une page encore liée, des erreurs 5xx ponctuelles, des chaînes de redirections ;
  • quelles URL le robot connaît alors qu'aucun lien interne n'y mène, ce qui trahit souvent une page orpheline ;
  • comment évolue le crawl après une migration, une refonte ou une mise à jour du sitemap XML.

Google explique que la capacité d'exploration dépend de la santé du serveur : quand le site ralentit ou renvoie des erreurs 5xx ou 429, Google explore moins. Les logs permettent de dater ces épisodes et de les relier à une baisse de crawl.

Vérifier que c'est bien Googlebot

L'agent utilisateur se falsifie en une ligne, et Google rappelle lui-même que cette chaîne peut être usurpée. Avant toute conclusion, il faut filtrer les lignes dont l'IP appartient réellement à Google. La méthode manuelle se fait en deux recherches DNS :

host 66.249.66.1
# crawl-66-249-66-1.googlebot.com
host crawl-66-249-66-1.googlebot.com
# 66.249.66.1

Le nom obtenu doit se terminer par googlebot.com, google.com ou googleusercontent.com, et la recherche inverse doit renvoyer l'IP de départ. Pour traiter de gros volumes, Google publie aussi ses plages d'adresses dans des fichiers JSON, dont common-crawlers.json pour Googlebot et les robots courants.

Logs et rapport de Search Console

Le rapport « Statistiques sur l'exploration » de Google Search Console donne une vue agrégée : nombre de requêtes, temps de réponse moyen, répartition par code de réponse, par type de fichier et par type de Googlebot. Google précise qu'il sert surtout aux sites de plus de 1 000 pages, que ses exemples d'URL ne sont pas complets et que de légers écarts avec les journaux du serveur sont possibles. Les logs restent la source exhaustive, URL par URL, et couvrent aussi Bingbot et les autres robots.

Mener une analyse en pratique

La première étape consiste à récupérer les journaux auprès de l'hébergeur, sur une période assez longue pour être représentative : plusieurs semaines pour un site moyen. Les fichiers contiennent les adresses IP de tous les visiteurs. Il vaut donc mieux ne conserver que les lignes des robots avant de les transmettre à un prestataire. On filtre ensuite les robots vérifiés, puis on croise trois listes : les URL explorées, les URL trouvées par un crawl du site et celles du sitemap.

L'analyse de logs est particulièrement utile aux grands sites. Google réserve ses conseils sur le crawl budget aux sites de plus d'un million de pages mis à jour chaque semaine, ou de plus de 10 000 pages modifiées chaque jour, tout en précisant que ces seuils ne sont pas exacts. Sur un petit site, quelques heures d'analyse suffisent souvent à repérer des erreurs que personne n'avait vues, ce qui en fait un bon complément d'un audit SEO.

Sources

Publié le 18 novembre 2026, par Alexis Marques.