Une étude de Stanford révèle que 44 % des affirmations très citées sur les LLM ont expiré

Le constat vise quiconque cite un benchmark. Sur les 50 affirmations testées par Queen et Zou, 44 % avaient déjà expiré.

Cela compte pour les acheteurs, pas seulement pour les auteurs. Celui qui choisit un modèle, rédige une politique interne sur l'IA ou reprend un benchmark dans une présentation travaille probablement à partir de données vieilles d'un an ou plus. Un chiffre vrai en 2024 ne dit pas grand-chose du modèle qu'une équipe achètera en 2026. L'étude fragilise aussi les comparaisons entre modèles : parmi ceux sortis entre juillet et septembre 2026, le nombre de constats périmés allait de 11 à 30. Personne n'a publié de méthode pour prédire à l'avance quelles affirmations tiendront et lesquelles s'effondreront. Ni la date de sortie, ni le fournisseur, ni la taille du modèle ne permettaient de prévoir le schéma de façon fiable, selon les auteurs.

Le reste de la distribution n'est pas plus flatteur. 34 % des affirmations se sont nettement affaiblies, 16 % tiennent toujours et 6 % se sont renforcées.

Cinquante affirmations, vingt modèles, huit développeurs

Queen et Zou ont rejoué les 50 affirmations sur 20 modèles sortis entre juillet 2024 et septembre 2026, produits par huit développeurs différents. Parmi les 22 constats portant une date d'expiration estimée, la durée de vie moyenne était de 15,7 mois. L'expiration s'accélère : 16 % des constats avaient expiré au bout d'un an, 39 % au bout de deux.

Quinze mois correspondent à peu près à une génération de modèle.

Les affirmations qui vieillissent le plus vite portent sur les limites

Le schéma n'a rien d'aléatoire. Cinq des neuf constats liés au raisonnement sont comptés comme expirés, et aucun ne tient encore ni ne s'est renforcé. Les victimes sont des reproches bien connus : des modèles qui se trompent sur le nombre de lettres dans strawberry, butent sur l'arithmétique dans des systèmes de numération inhabituels, perdent l'information au milieu d'un long contexte ou abandonnent une bonne réponse quand un utilisateur insiste. Les chercheurs soupçonnent ces erreurs de partager un même résultat correct, ce qui donne aux développeurs une cible claire pour l'entraînement.

Les affirmations sur le comportement durent plus longtemps. Sur les 11 constats qui tiennent ou se sont renforcés, trois concernent des modèles utilisés comme évaluateurs et trois la flatterie et l'approbation face aux utilisateurs. Les biais sociaux vont dans les deux sens : le biais politique orienté à gauche persiste, tandis que les stéréotypes de genre et les biais d'association implicite se sont affaiblis. Le biais envers les locuteurs d'anglais afro-américain a changé de sens dans les données de tendance.

Un test de citation avec une grande exception

L'étude de cas du papier porte sur les références inventées. Dans les travaux originaux de 2023 de Walters et Wilder, GPT-3.5 inventait 55 % de ses citations. Soumis aux mêmes invites, GPT-6.1 Sol en a inventé 0 % et Claude Sonnet 5.5, 1 %. Qwen3.7-Flash, également un modèle de 2026, en inventait encore 69 %.

Deux modèles de 2026 se situent aux deux extrémités de ce test.

Les auteurs mettent en garde contre toute lecture rassurante. Sur les questions à deux sauts, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions composantes, contre 43 % rapportés pour ChatGPT dans le papier original. La malédiction de l'inversion et les réponses contradictoires à des questions appariées sur le temps se sont atténuées, mais les deux restent détectables.

L'écart entre modèles reste large, même à l'intérieur d'une seule fenêtre de sortie. Parmi les modèles livrés entre juillet et septembre 2026, les constats périmés allaient de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol.

D'autres laboratoires répondent par des tests plus durs

La revue de recherche de Microsoft fin octobre décrivait deux efforts de ce type. CABRA génère des défis de programmation à partir de zéro, ce qui permet d'élever la complexité de façon contrôlée ; sur des milliers de tâches générées, les agents résolvaient souvent les problèmes en recourant à des outils mais peinaient encore à comprendre des bases de code inconnues. ForkPilot, un cadre auto-améliorant, a égalé les meilleures méthodes existantes sur six benchmarks tout en réduisant jusqu'à 59 % les besoins de traitement.

Ailleurs, la réponse passe par la vérification formelle. Un article arXiv sur les codes correcteurs d'erreurs quantiques assistés par intrication utilise un pipeline avec chercheur dans la boucle et vérification de preuves sous Lean, comblant 54 lacunes dans des tables archivées et publiant 115 enregistrements de codes vérifiés.

Ses propres chiffres plaident pour la méthode. Des programmes itératifs sélectionnés par validation atteignent 46,1 % et 31,6 % de réussite sur des exécutions tenues à l'écart aux longueurs inédites n=13 et n=15, contre 19,5 % et 3,1 % pour des programmes générés indépendamment. L'écart se creuse à la longueur la plus élevée.

Les laboratoires commerciaux vendent plutôt de la vitesse. Jonathan Zanger, CTO de Check Point, affirme que Daybreak a ramené la recherche de vulnérabilités d'heures à quelques minutes. L'outil donne aux défenseurs accès aux modèles cyber de pointe d'OpenAI, qui analysent les vulnérabilités et retracent les chemins d'attaque.

Ce que les auteurs veulent changer

Queen et Zou veulent changer le cadrage. Selon eux, les constats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Les articles devraient documenter ce qu'ils ont testé, ajoutent-ils.

La consigne pratique est plus directe. Retester avant de citer, et dater le test.