Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Une étude de Stanford constate que 44 % des 50 affirmations les plus citées sur les LLM ont expiré

Owen Queen et James Zou, de Stanford, ont testé 50 affirmations très citées sur les grands modèles de langage. 44 % d'entre elles avaient expiré, autrement dit leur effet d'origine avait largement disparu. Sur les 22 résultats dont la date d'expiration a pu être estimée, la durée de vie moyenne atteint 15,7 mois.

SciencesExpliquéAmélie BernardPublié le: 4 novembre 20264 min de lectureSources 9
Une étude de Stanford constate que 44 % des 50 affirmations les plus citées sur les LLM ont expiré

L'étude parle d'« expiration » quand l'effet d'origine d'une affirmation a largement disparu lors des tests sur des modèles plus récents. Queen et Zou ont testé 50 affirmations sur 20 modèles de huit développeurs, sortis entre juillet 2024 et septembre 2026. Sur ces affirmations, 44 % avaient expiré, 34 % s'étaient nettement affaiblies, 16 % tenaient toujours et 6 % s'étaient renforcées. L'expiration augmente avec le temps : 16 % après un an et 39 % après deux ans, selon les chercheurs. Pour les 22 résultats dont la date d'expiration a pu être estimée, la durée de vie moyenne était de 15,7 mois.

Les affirmations sur ce que les modèles ne savent pas faire expirent le plus vite

Cinq des neuf résultats liés au raisonnement ont expiré, et aucun ne s'est maintenu ni renforcé, constatent Queen et Zou. Ils portent notamment sur le comptage des lettres dans « strawberry », l'arithmétique dans des systèmes de numération inhabituels, la perte d'information au milieu de longs contextes et l'abandon d'une bonne réponse quand les utilisateurs insistent. Les chercheurs supposent que ces erreurs ont un résultat « correct », ce qui donne aux développeurs une cible claire pour l'entraînement.

Certaines préférences et certains biais persistent

L'étude indique que 11 résultats se sont maintenus ou renforcés. Trois d'entre eux concernent le comportement des LLM en position d'évaluateur : les modèles préfèrent leurs propres réponses, notent de la même façon des articles acceptés et rejetés, et se laissent influencer par la mise en forme rhétorique des résumés médicaux. Trois autres portent sur la complaisance et l'accord avec les utilisateurs. L'étude cite aussi des réponses quasi identiques à des questions ouvertes et une distribution non uniforme lors de la génération de nombres aléatoires.

Les biais sociaux sont contrastés

Le biais politique de gauche persiste, selon les chercheurs. Les stéréotypes de genre et les biais d'association implicite se sont affaiblis. Les biais envers les locuteurs de l'anglais afro-américain ont changé de sens dans les données de tendance.

La fabrication de citations recule, mais pas pour tous les modèles

Queen et Zou ont pris la fabrication de références scientifiques comme étude de cas. Dans l'étude originale de Walters et Wilder, en 2023, GPT-3.5 inventait 55 % de ses références. Les chercheurs de Stanford ont envoyé les mêmes invites aux modèles actuels. GPT-6.1 Sol en a fabriqué 0 %, et Claude Sonnet 5.5 est à 1 %. Qwen3.7-Flash, un modèle de 2026 lui aussi, fabriquait encore 69 % de ses références au même test.

L'étude met en garde contre une lecture de ces résultats comme un feu vert. Sur des questions à deux sauts, où un modèle doit combiner deux faits connus, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas alors qu'il répond correctement aux deux questions prises séparément. L'article d'origine rapportait 43 % pour ChatGPT. La malédiction de l'inversion et les réponses contradictoires à des questions appariées sur le temps se sont également atténuées, mais restent détectables.

Les écarts entre modèles restent importants

Les résultats varient d'un modèle à l'autre, même à l'intérieur d'une même fenêtre de sortie. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de résultats expirés va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Queen et Zou constatent que ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit le schéma de façon fiable.

Ce que recommandent les auteurs

Queen et Zou concluent que les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter le modèle, la version et la date, et publier les invites et le code d'analyse pour que les résultats puissent être retestés sur les modèles futurs.

Commentaires 0

Sources

9
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  3. 03Microsoft Research Focus - Edition #97EN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  7. 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
  8. 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  9. 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Amélie Bernard

Amélie Bernard

Science et santé

Amélie Bernard couvre les sciences et la santé pour FLASH24, en s'appuyant sur les publications évaluées par les pairs, les communiqués des agences et les données brutes des études, sans reprendre les reprises de presse. Elle vérifie chaque chiffre en remontant à la source, compare les méthodologies et signale les tailles d'échantillon douteuses. Elle interroge régulièrement des chercheurs et des soignants, et attend les mises à jour des revues à comité de lecture avant de publier. Sa formation en physique des matériaux lui sert à décrypter les résultats techniques, et elle observe le ciel avec son propre télescope. Elle ne publie pas une donnée qu'elle n'a pas pu reproduire.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.