Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Une étude de Stanford montre que 44 % des affirmations très citées sur les LLM ont expiré

Owen Queen et James Zou, de Stanford, ont testé 50 affirmations très citées sur les grands modèles de langage face à 20 modèles sortis entre juillet 2024 et septembre 2026. Résultat : 44 % avaient expiré, et les conclusions datées tenaient en moyenne 15,7 mois.

TechnologieAnalyseSophie LeclercPublié le: 4 novembre 20264 min de lectureSources 12
Une étude de Stanford montre que 44 % des affirmations très citées sur les LLM ont expiré

L'équipe a fait repasser les 50 affirmations sur 20 modèles de huit développeurs. L'effet d'origine derrière les conclusions expirées a en grande partie disparu, et 34 % supplémentaires se sont nettement affaiblies. Seules 16 % tenaient toujours, et 6 % s'étaient renforcées.

Parmi les 22 conclusions dotées d'une date d'expiration estimée, la durée de vie moyenne atteignait 15,7 mois. Au bout d'un an, 16 % des conclusions avaient expiré. Au bout de deux ans, 39 %.

Les affirmations sur les limites expirent le plus vite

Cinq des neuf conclusions liées au raisonnement sont comptées comme expirées, et aucune ne s'est maintenue ni renforcée. Parmi les exemples : des modèles qui se trompent en comptant les lettres de « strawberry », butent sur l'arithmétique dans des systèmes de numération inhabituels, perdent l'information au milieu de longs contextes, ou abandonnent une bonne réponse quand un utilisateur insiste. Les chercheurs supposent que ces erreurs partagent un même résultat correct, ce qui donne aux développeurs une cible claire pour l'entraînement.

Les affirmations sur les préférences et les tendances durent plus longtemps. Sur les 11 conclusions qui se sont maintenues ou renforcées, trois concernent des modèles qui jouent les évaluateurs et trois la flagornerie et l'accord avec l'utilisateur. L'étude signale aussi un biais politique orienté à gauche, des réponses quasi identiques aux questions ouvertes et une distribution non uniforme dans la génération de nombres aléatoires. Les stéréotypes de genre et les biais d'association implicite se sont affaiblis, tandis que le biais envers les locuteurs de l'anglais afro-américain a changé de sens dans les données de tendance.

Test des citations : de 55 % à zéro, avec une exception

L'étude de cas du papier porte sur les citations scientifiques inventées. Dans l'étude originale de 2023 de Walters et Wilder, GPT-3.5 inventait 55 % de ses références. Avec les mêmes consignes, GPT-6.1 Sol en a inventé 0 % et Claude Sonnet 5.5 1 %. Qwen3.7-Flash, également un modèle de 2026, en inventait encore 69 %.

L'étude met en garde contre une lecture de ces résultats comme un feu vert. Sur les questions à deux sauts, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions prises séparément, contre 43 % rapportés pour ChatGPT dans le papier d'origine. La malédiction de l'inversion et les réponses contradictoires aux paires de questions liées au temps se sont atténuées, mais restent détectables.

Les écarts entre modèles restent larges

Les résultats varient selon les modèles, même à l'intérieur d'une même fenêtre de sortie. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de conclusions expirées va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit le schéma de façon fiable, selon l'étude.

Ce que les auteurs veulent changer

Queen et Zou soutiennent que les conclusions empiriques sur les LLM devraient être présentées comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter le modèle, la version et la date, et publier les consignes et le code d'analyse pour que les conclusions puissent être retestées sur les modèles futurs, écrivent-ils.

Commentaires 0

Sources

12
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Microsoft Research Focus – Edition #97EN
  3. 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
  7. 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
  8. 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  9. 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  10. 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  11. 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  12. 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.