Une étude de Stanford constate que 44 % des affirmations très citées sur les LLM ont expiré
Owen Queen et James Zou, de Stanford, ont confronté 50 affirmations très citées sur les grands modèles de langage à 20 modèles. Résultat : 44 % avaient expiré. Pour les 22 résultats dont une date d'expiration est estimée, la durée de vie moyenne atteint 15,7 mois.

Les 50 affirmations ont été vérifiées sur 20 modèles sortis entre juillet 2024 et septembre 2026, chez huit développeurs. Outre les 44 % qui ont expiré, 34 % se sont nettement affaiblies, 16 % tiennent toujours et 6 % se sont renforcées. L'expiration s'accélère avec le temps : au bout d'un an, 16 % avaient expiré ; au bout de deux ans, la proportion atteignait 39 %. Les 22 résultats dont une date d'expiration est estimée tiennent en moyenne 15,7 mois, pour une fenêtre de test allant de juillet 2024 à septembre 2026.
Ce qui expire le plus vite
Les affirmations sur ce que les modèles ne savent pas faire vieillissent le plus mal. Cinq des neuf résultats liés au raisonnement ont expiré, et aucun ne tient ni ne s'est renforcé. Ils portent notamment sur le comptage des lettres dans « strawberry », l'arithmétique dans des systèmes de numération inhabituels, la perte d'information au milieu de longs contextes et l'abandon d'une réponse correcte quand un utilisateur insiste. Les chercheurs supposent que ces erreurs ont une issue « correcte », ce qui donne aux développeurs une cible claire pour l'entraînement.
Les affirmations sur les préférences et les tendances résistent mieux. Sur les 11 résultats qui tiennent ou se sont renforcés, trois concernent des modèles en position d'évaluateur : ils préfèrent leurs propres réponses, notent de la même façon les articles acceptés et rejetés, et se laissent influencer par la tournure d'un résumé médical. Trois autres concernent la complaisance envers les utilisateurs. Un biais politique orienté à gauche persiste, les réponses aux questions ouvertes sont quasi identiques et les nombres aléatoires générés ne suivent pas une distribution uniforme.
Les citations s'améliorent de façon inégale
Les références inventées montrent à quel point les progrès sont irréguliers. Dans l'étude originale de Walters et Wilder, en 2023, GPT-3.5 inventait 55 % de ses références. Sur les mêmes invites, GPT-6.1 Sol en a inventé 0 % et Claude Sonnet 5.5, 1 %. Qwen3.7-Flash, un modèle de 2026 lui aussi, en inventait encore 69 %.
Les questions à deux sauts, où le modèle doit combiner deux faits qu'il connaît, restent un point faible. Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions prises séparément, contre 43 % rapportés pour ChatGPT dans l'article original. La « malédiction de l'inversion » et les réponses contradictoires à des questions appariées sur le temps se sont atténuées mais restent détectables.
Les biais sociaux donnent un tableau mitigé. Le biais politique orienté à gauche persiste, les stéréotypes de genre et les biais d'association implicite se sont affaiblis, et le biais envers les locuteurs de l'anglais afro-américain s'est inversé dans les données de tendance.
Le choix du modèle compte
Les résultats varient fortement à l'intérieur d'une même fenêtre de sortie. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de résultats expirés va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit le schéma de façon fiable.
Ce que recommandent les chercheurs
Queen et Zou estiment que les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter le modèle, sa version et la date, et publier les invites et le code d'analyse pour que les résultats soient retestés sur les modèles suivants. Ils renvoient à une publication d'Andrej Karpathy sur l'écart entre ce que les gens supposent que les LLM font et leur comportement réel, et sur l'effet de cet écart sur la confiance dans l'IA et la fréquence de son usage.
Sources
18- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
- 03Open Science: The open-source AI workbench for scientific researchEN
- 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
- 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
- 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
- 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
- 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 15Microsoft Research Focus – Edition #97EN
- 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
- 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 18Claude helped plan risky bird flu research. What did the AI add?EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.