Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Une étude de Stanford constate que 44 % des affirmations très citées sur les LLM ont expiré

Owen Queen et James Zou, de Stanford, ont confronté 50 affirmations très citées sur les grands modèles de langage à 20 modèles. Résultat : 44 % avaient expiré. Pour les 22 résultats dont une date d'expiration est estimée, la durée de vie moyenne atteint 15,7 mois.

IA & modèlesAnalyseSophie LeclercPublié le: 4 novembre 20264 min de lectureSources 18
Une étude de Stanford constate que 44 % des affirmations très citées sur les LLM ont expiré

Les 50 affirmations ont été vérifiées sur 20 modèles sortis entre juillet 2024 et septembre 2026, chez huit développeurs. Outre les 44 % qui ont expiré, 34 % se sont nettement affaiblies, 16 % tiennent toujours et 6 % se sont renforcées. L'expiration s'accélère avec le temps : au bout d'un an, 16 % avaient expiré ; au bout de deux ans, la proportion atteignait 39 %. Les 22 résultats dont une date d'expiration est estimée tiennent en moyenne 15,7 mois, pour une fenêtre de test allant de juillet 2024 à septembre 2026.

Ce qui expire le plus vite

Les affirmations sur ce que les modèles ne savent pas faire vieillissent le plus mal. Cinq des neuf résultats liés au raisonnement ont expiré, et aucun ne tient ni ne s'est renforcé. Ils portent notamment sur le comptage des lettres dans « strawberry », l'arithmétique dans des systèmes de numération inhabituels, la perte d'information au milieu de longs contextes et l'abandon d'une réponse correcte quand un utilisateur insiste. Les chercheurs supposent que ces erreurs ont une issue « correcte », ce qui donne aux développeurs une cible claire pour l'entraînement.

Les affirmations sur les préférences et les tendances résistent mieux. Sur les 11 résultats qui tiennent ou se sont renforcés, trois concernent des modèles en position d'évaluateur : ils préfèrent leurs propres réponses, notent de la même façon les articles acceptés et rejetés, et se laissent influencer par la tournure d'un résumé médical. Trois autres concernent la complaisance envers les utilisateurs. Un biais politique orienté à gauche persiste, les réponses aux questions ouvertes sont quasi identiques et les nombres aléatoires générés ne suivent pas une distribution uniforme.

Les citations s'améliorent de façon inégale

Les références inventées montrent à quel point les progrès sont irréguliers. Dans l'étude originale de Walters et Wilder, en 2023, GPT-3.5 inventait 55 % de ses références. Sur les mêmes invites, GPT-6.1 Sol en a inventé 0 % et Claude Sonnet 5.5, 1 %. Qwen3.7-Flash, un modèle de 2026 lui aussi, en inventait encore 69 %.

Les questions à deux sauts, où le modèle doit combiner deux faits qu'il connaît, restent un point faible. Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions prises séparément, contre 43 % rapportés pour ChatGPT dans l'article original. La « malédiction de l'inversion » et les réponses contradictoires à des questions appariées sur le temps se sont atténuées mais restent détectables.

Les biais sociaux donnent un tableau mitigé. Le biais politique orienté à gauche persiste, les stéréotypes de genre et les biais d'association implicite se sont affaiblis, et le biais envers les locuteurs de l'anglais afro-américain s'est inversé dans les données de tendance.

Le choix du modèle compte

Les résultats varient fortement à l'intérieur d'une même fenêtre de sortie. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de résultats expirés va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit le schéma de façon fiable.

Ce que recommandent les chercheurs

Queen et Zou estiment que les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter le modèle, sa version et la date, et publier les invites et le code d'analyse pour que les résultats soient retestés sur les modèles suivants. Ils renvoient à une publication d'Andrej Karpathy sur l'écart entre ce que les gens supposent que les LLM font et leur comportement réel, et sur l'effet de cet écart sur la confiance dans l'IA et la fréquence de son usage.

Commentaires 0

Sources

18
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
  3. 03Open Science: The open-source AI workbench for scientific researchEN
  4. 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
  5. 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
  6. 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
  7. 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
  8. 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
  9. 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  10. 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  11. 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  12. 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
  13. 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
  14. 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  15. 15Microsoft Research Focus – Edition #97EN
  16. 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
  17. 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
  18. 18Claude helped plan risky bird flu research. What did the AI add?EN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.