Un audit de Stanford montre que les affirmations sur les LLM expirent en 15,7 mois en moyenne

Ce qui expire le plus vite : les affirmations sur ce que les modèles ne savent pas faire

Queen et Zou ont confronté les 50 affirmations à 20 modèles de huit développeurs, publiés entre juillet 2024 et septembre 2026. Les résultats sont loin d'être uniformes.

Cela compte pour quiconque cite un benchmark. Les preuves derrière ces affirmations tiennent environ un an et un trimestre. Les chercheurs qui s'appuient sur des résultats publiés visent une cible mouvante. Les acheteurs qui choisissent des modèles à partir de comparaisons publiées aussi. Aucune méthode convenue ne permet de marquer une affirmation comme expirée. Les lecteurs doivent vérifier eux-mêmes le modèle et la date.

La répartition des 50 affirmations était inégale. Au total, 44 pour cent avaient expiré, 34 pour cent s'étaient nettement affaiblies, 16 pour cent tenaient toujours et 6 pour cent s'étaient renforcées. Parmi les 22 résultats dotés d'une date d'expiration estimée, la durée de vie moyenne était de 15,7 mois. La dégradation s'accélère aussi. Au bout d'un an, 16 pour cent des résultats avaient expiré. Au bout de deux ans, la proportion atteignait 39 pour cent.

Les affirmations sur ce que les modèles ne savent pas faire vieillissent le plus vite.

Cinq des neuf résultats liés au raisonnement sont expirés. Aucun ne s'est maintenu ni renforcé. La liste ressemble à un tour des faiblesses connues. Compter les lettres dans strawberry en fait partie. L'arithmétique dans des systèmes de numération inhabituels aussi. Perdre l'information au milieu de longs contextes également. Abandonner une réponse correcte quand un utilisateur insiste, encore. Queen et Zou soupçonnent ces erreurs de partager un résultat correct, ce qui donne aux développeurs une cible claire pour l'entraînement.

Ce qui a survécu : préférences, flagornerie et biais

Sur les 11 résultats qui se sont maintenus ou renforcés, trois concernent des LLM agissant comme évaluateurs. Les modèles préfèrent leurs propres réponses. Ils notent aussi de la même façon des articles acceptés et rejetés, et se laissent influencer par la mise en forme linguistique des résumés médicaux.

Trois autres concernent la flagornerie et l'accord avec les utilisateurs.

Les biais offrent un tableau contrasté. Le biais politique de gauche persiste. Les stéréotypes de genre et les biais d'association implicite se sont affaiblis. Les biais envers les locuteurs de l'anglais afro-américain ont changé de sens dans les données de tendance.

Le test des citations : de 55 pour cent à zéro, mais pas partout

Comme étude de cas, les deux chercheurs se sont penchés sur les citations scientifiques fabriquées. Dans l'étude originale de 2023 de Walters et Wilder, GPT-3.5 inventait 55 pour cent de ses références. Queen et Zou ont envoyé les mêmes invites aux modèles actuels. GPT-6.1 Sol en fabriquait 0 pour cent, et Claude Sonnet 5.5 arrivait à 1 pour cent. Qwen3.7-Flash, lui aussi un modèle de 2026, fabriquait encore 69 pour cent de ses références au même test.

La fabrication de citations est le cas le plus net de l'étude. Les invites d'origine pouvaient être répétées à l'identique.

L'amélioration est réelle mais partielle. Sur des questions à deux sauts, un modèle doit combiner deux faits connus. Claude Sonnet 5.5 échoue encore dans environ 10 pour cent des cas où il répond correctement aux deux questions prises séparément. L'article d'origine rapportait 43 pour cent pour ChatGPT.

L'écart entre modèles est large, et le déploiement s'accélère

Parmi les modèles publiés entre juillet et septembre 2026, les résultats expirés vont de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. La taille ne l'explique pas. La date de publication, le fournisseur et la taille du modèle ne permettent pas de prédire le schéma de façon fiable.

Pendant ce temps, les systèmes dans lesquels ces modèles s'insèrent passent en production. Des chercheurs de Microsoft ont rapporté que les agents de codage surmontent souvent les problèmes en utilisant des outils. Ils peinent encore quand ils doivent comprendre des bases de code inconnues, selon Microsoft Research Focus publié le 29 octobre. La même édition décrit ForkPilot. Ce cadre a réduit les besoins de traitement de l'IA jusqu'à 59 pour cent sur six benchmarks.

Le travail de sécurité montre la même compression. OpenAI a annoncé le 27 octobre que Check Point avait ramené la recherche de vulnérabilités d'heures à minutes avec ses modèles Daybreak. L'affirmation vient du directeur technique de Check Point, Jonathan Zanger.

La facture matérielle grimpe en même temps. Hyperion Research a rapporté le 3 novembre que le chiffre d'affaires du HPC sur site et de l'IA pour la science avait atteint 16 500 000 000 dollars au premier semestre 2026. C'est 19,9 pour cent de plus que les 13 800 000 000 dollars du second semestre 2025. Les ventes en unités n'ont progressé que de 4,4 pour cent sur la même période. Cela indique une hausse du coût des systèmes. Dell a pris la tête du marché avec 4 200 000 000 dollars de revenus serveurs au premier semestre 2026. Il met fin à plus de 25 ans de leadership de HPE.

Earl Joseph, directeur général d'Hyperion Research, attribue la demande à deux choses. Les organisations remplacent des machines vieillissantes, dit-il. Elles veulent aussi intégrer l'IA dans leurs flux de travail.

Prises ensemble, les deux tendances tirent en sens opposé. Les acheteurs dépensent plus par système. En même temps, les preuves publiées qu'ils utilisent pour comparer les modèles vieillissent en environ 15 mois. Un résultat de benchmark d'il y a un an peut décrire un modèle depuis remplacé.

Ce que veulent les auteurs, et ce qui reste ouvert

Queen et Zou concluent que les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales. Leur recommandation est étroite. Citer le modèle, citer la version, citer le mois.

Les auteurs mettent en garde contre tout feu vert définitif.

La malédiction de l'inversion et les réponses contradictoires à des questions appariées sur le temps se sont affaiblies. Elles restent détectables. Une affirmation selon laquelle un système échoue à une tâche est un constat sur une version donnée, pas sur la technologie. On ignore si le schéma tient pour les modèles publiés après septembre 2026.