LLM

LLM est le sigle anglais de Large Language Model, que l'on traduit par grand modèle de langage. Les assistants conversationnels comme ChatGPT ou Gemini reposent sur des modèles de ce type, tout comme les réponses générées que certains moteurs de recherche affichent au-dessus des liens classiques.

Comment fonctionne un LLM

Un modèle de langage estime la probabilité qu'un token, ou une suite de tokens, apparaisse dans une séquence plus longue. Le token est l'unité de base du calcul : un mot, un morceau de mot ou un caractère. Pour répondre à une question, le modèle produit sa réponse token après token, en choisissant à chaque étape une suite probable compte tenu de tout ce qui précède.

Le qualificatif « grand » tient au nombre de paramètres, qui se compte en centaines de milliards, parfois en milliers de milliards, et à la masse de textes utilisée pour l'entraînement. La plupart des LLM reposent sur l'architecture Transformer, présentée en juin 2017 dans l'article de recherche « Attention Is All You Need ». Son mécanisme d'auto-attention évalue, pour chaque token, dans quelle mesure les autres tokens du texte influencent son interprétation. C'est ce qui permet au modèle de tenir compte d'un contexte long, là où les modèles plus anciens lisaient le texte mot après mot.

L'entraînement se déroule en deux temps. Le modèle apprend d'abord sur un très grand corpus, en devinant des tokens masqués à partir de leur contexte. Une étape d'ajustement, facultative, l'entraîne ensuite à mieux suivre des instructions.

Les limites à connaître

Un LLM prédit des suites de mots plausibles ; il ne consulte pas une base de faits. Il peut donc affirmer avec assurance des informations fausses, ce qu'on appelle des hallucinations. Comme tout modèle d'apprentissage automatique, il peut aussi reproduire les biais présents dans ses données. Enfin, son entraînement et son utilisation consomment beaucoup de calcul et d'électricité. Pour répondre sur des sujets récents, certains services relient le modèle à un index de recherche : Google parle d'ancrage (grounding) quand des contenus de son index sont fournis au modèle au moment de la question.

Ce que les LLM changent pour le SEO

Les LLM touchent la recherche d'information sur trois plans.

• Des réponses rédigées dans les résultats : les AI Overviews et l'AI Mode de Google affichent une réponse générée, accompagnée de liens vers des pages sources. Pour trouver ces pages, ils lancent plusieurs recherches liées sur des sous-thèmes, une technique que Google appelle query fan-out.
• De nouveaux robots : les éditeurs de modèles explorent le web avec des robots d'IA dédiés. Chez OpenAI, GPTBot collecte des contenus qui peuvent servir à l'entraînement, tandis qu'OAI-SearchBot alimente les résultats de recherche de ChatGPT. Les deux se gèrent séparément dans le fichier robots.txt.
• Une production de textes à grande échelle : un LLM rédige vite, ce qui multiplie les pages générées automatiquement.

Google précise qu'aucune optimisation particulière n'est requise pour apparaître dans les AI Overviews ou l'AI Mode. Une page doit être indexée et pouvoir s'afficher avec un extrait ; les bonnes pratiques SEO habituelles s'appliquent. Google ajoute qu'il n'est pas nécessaire de créer des fichiers destinés aux IA. Le fichier llms.txt, proposé en septembre 2024, reste d'ailleurs une proposition communautaire et non un standard. Travailler la visibilité d'une marque dans ces réponses générées est l'objet du GEO.

Côté Google, le jeton Google-Extended, placé dans le robots.txt, indique si les contenus explorés peuvent servir à entraîner les futurs modèles Gemini, ou à ancrer leurs réponses dans des contenus de l'index. Selon Google, ce choix n'a aucun effet sur l'inclusion d'un site dans la recherche Google ni sur son classement.

Publier des textes produits par un LLM

Google n'interdit pas le contenu généré par IA en tant que tel. Il vise l'abus : générer de nombreuses pages sans valeur ajoutée pour manipuler le classement enfreint sa politique contre le contenu produit à grande échelle. Il recommande de vérifier l'exactitude et la fiabilité d'un texte généré avant de le publier, y compris le titre, la meta description, les données structurées et les textes alternatifs des images, qui peuvent apparaître dans les résultats.