Une étude de Stanford constate que 44 % des 50 affirmations les plus citées sur les LLM ont expiré
Owen Queen et James Zou, de Stanford, ont testé 50 affirmations très citées sur les grands modèles de langage. 44 % d'entre elles avaient expiré, autrement dit leur effet d'origine avait largement disparu. Sur les 22 résultats dont la date d'expiration a pu être estimée, la durée de vie moyenne atteint 15,7 mois.

L'étude parle d'« expiration » quand l'effet d'origine d'une affirmation a largement disparu lors des tests sur des modèles plus récents. Queen et Zou ont testé 50 affirmations sur 20 modèles de huit développeurs, sortis entre juillet 2024 et septembre 2026. Sur ces affirmations, 44 % avaient expiré, 34 % s'étaient nettement affaiblies, 16 % tenaient toujours et 6 % s'étaient renforcées. L'expiration augmente avec le temps : 16 % après un an et 39 % après deux ans, selon les chercheurs. Pour les 22 résultats dont la date d'expiration a pu être estimée, la durée de vie moyenne était de 15,7 mois.
Les affirmations sur ce que les modèles ne savent pas faire expirent le plus vite
Cinq des neuf résultats liés au raisonnement ont expiré, et aucun ne s'est maintenu ni renforcé, constatent Queen et Zou. Ils portent notamment sur le comptage des lettres dans « strawberry », l'arithmétique dans des systèmes de numération inhabituels, la perte d'information au milieu de longs contextes et l'abandon d'une bonne réponse quand les utilisateurs insistent. Les chercheurs supposent que ces erreurs ont un résultat « correct », ce qui donne aux développeurs une cible claire pour l'entraînement.
Certaines préférences et certains biais persistent
L'étude indique que 11 résultats se sont maintenus ou renforcés. Trois d'entre eux concernent le comportement des LLM en position d'évaluateur : les modèles préfèrent leurs propres réponses, notent de la même façon des articles acceptés et rejetés, et se laissent influencer par la mise en forme rhétorique des résumés médicaux. Trois autres portent sur la complaisance et l'accord avec les utilisateurs. L'étude cite aussi des réponses quasi identiques à des questions ouvertes et une distribution non uniforme lors de la génération de nombres aléatoires.
Les biais sociaux sont contrastés
Le biais politique de gauche persiste, selon les chercheurs. Les stéréotypes de genre et les biais d'association implicite se sont affaiblis. Les biais envers les locuteurs de l'anglais afro-américain ont changé de sens dans les données de tendance.
La fabrication de citations recule, mais pas pour tous les modèles
Queen et Zou ont pris la fabrication de références scientifiques comme étude de cas. Dans l'étude originale de Walters et Wilder, en 2023, GPT-3.5 inventait 55 % de ses références. Les chercheurs de Stanford ont envoyé les mêmes invites aux modèles actuels. GPT-6.1 Sol en a fabriqué 0 %, et Claude Sonnet 5.5 est à 1 %. Qwen3.7-Flash, un modèle de 2026 lui aussi, fabriquait encore 69 % de ses références au même test.
L'étude met en garde contre une lecture de ces résultats comme un feu vert. Sur des questions à deux sauts, où un modèle doit combiner deux faits connus, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas alors qu'il répond correctement aux deux questions prises séparément. L'article d'origine rapportait 43 % pour ChatGPT. La malédiction de l'inversion et les réponses contradictoires à des questions appariées sur le temps se sont également atténuées, mais restent détectables.
Les écarts entre modèles restent importants
Les résultats varient d'un modèle à l'autre, même à l'intérieur d'une même fenêtre de sortie. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de résultats expirés va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Queen et Zou constatent que ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit le schéma de façon fiable.
Ce que recommandent les auteurs
Queen et Zou concluent que les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter le modèle, la version et la date, et publier les invites et le code d'analyse pour que les résultats puissent être retestés sur les modèles futurs.
Sources
9- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 03Microsoft Research Focus - Edition #97EN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
- 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.