Un audit de Stanford révèle que 44 % des affirmations sur les LLM ont expiré, alors que l'argent afflue vers l'automatisation des laboratoires

Les laboratoires qui achètent de l'automatisation doivent construire des flux de travail sur des modèles dont le comportement documenté peut changer en un an environ. Sur les 50 affirmations testées par Queen et Zou, 44 % avaient expiré, 16 % tenaient toujours et 6 % s'étaient renforcées. Une validation faite à l'achat ne décrit peut-être plus le système six mois plus tard. Pour l'acheteur, la question pratique est étroite : sur quelle version du modèle une affirmation a-t-elle été mesurée, et quand.

Ce qui a expiré, et à quelle vitesse

Les deux chercheurs ont testé 50 affirmations largement citées sur les grands modèles de langage face à 20 modèles sortis entre juillet 2024 et septembre 2026 par huit développeurs.

Selon l'étude, 34 % des affirmations supplémentaires s'étaient nettement affaiblies. Parmi les 22 résultats qui portaient une date d'expiration estimée, la durée de vie moyenne était de 15,7 mois. L'expiration s'accélère avec le temps : au bout d'un an, 16 % avaient expiré, et au bout de deux ans, la proportion montait à 39 %.

Les affirmations sur le raisonnement vieillissent le plus mal. Cinq des neuf résultats liés au raisonnement sont expirés, et aucun ne tenait ni ne s'était renforcé. La liste comprend le comptage des lettres dans « strawberry », l'arithmétique dans des systèmes de numération peu familiers, la perte d'informations au milieu du contexte et l'abandon d'une réponse correcte quand un utilisateur insiste. Les chercheurs soupçonnent ces erreurs d'avoir un résultat « correct », ce qui donne aux développeurs une cible claire vers laquelle entraîner les modèles.

Les affirmations sur les préférences et les tendances durent plus longtemps. Sur les 11 résultats qui tenaient ou s'étaient renforcés, trois concernent des modèles agissant comme évaluateurs et trois la complaisance envers les utilisateurs. Les biais sociaux sont contrastés : le biais politique de gauche persiste, tandis que les stéréotypes de genre et les biais d'association implicite se sont affaiblis, et le biais envers les locuteurs de l'anglais afro-américain a changé de sens dans les données de tendance.

L'argent qui arrive dans les laboratoires automatisés

Opentrons Labworks a annoncé avoir levé 40 000 000 de dollars en financement de série E, mené par Avego, avec la participation de BroadOak Capital Partners. La société n'a pas divulgué sa valorisation ni les parts prises par les investisseurs. The AI Insider a rapporté ce tour de table le 30 octobre.

Le parc installé est l'argument de vente. Opentrons affirme avoir déployé plus de 11 000 robots dans des laboratoires de plus de 80 pays, dont 90 % des 20 plus grands laboratoires pharmaceutiques mondiaux. Fondée en 2014, l'entreprise vend la plateforme Flex, qui associe des instruments robotisés à un logiciel pour standardiser les opérations de laboratoire.

Les produits de l'opération iront à l'exécution d'expériences pilotée par l'IA, à une intégration plus poussée avec des instruments et logiciels tiers, et à l'entrée sur de nouveaux marchés, a indiqué la société. Son architecture ouverte, pilotée par API, est conçue pour s'insérer dans les environnements de recherche existants plutôt que pour les remplacer.

« Des millions de scientifiques passent une grande partie de leur journée à des tâches manuelles qu'un robot peut faire », a déclaré le PDG James Atwood dans l'annonce de financement. James Flexner, associé gérant d'Avego, a formulé le pari de la même manière : « Chaque découverte pilotée par l'IA doit encore être testée dans un vrai laboratoire ».

La couche logicielle passe à l'open source

OpenScience est un agent de recherche open source qui fonctionne comme application de bureau, espace de travail dans le navigateur ou commande en terminal, avec des noyaux shell, Python et R. Il est livré avec des connecteurs vers ChEMBL, UniProt, PubMed et arXiv, ainsi que dix adaptateurs bring-your-own-key pour les points de terminaison NVIDIA BioNeMo NIM.

La documentation du projet est directe sur ses limites. Chaque étape est visible, y est-il écrit, et les utilisateurs doivent vérifier les sources, les hypothèses, le code et les résultats avant de s'appuyer sur une conclusion scientifique. Les adaptateurs BioNeMo sont marqués expérimentaux et nécessitent la propre clé API NVIDIA de l'utilisateur.

Là où les modèles échouent encore

Les citations inventées montrent à quel point les progrès sont inégaux. Dans une étude de Walters et Wilder de 2023, GPT-3.5 inventait 55 % de ses références. Sur les mêmes invites, GPT-6.1 Sol en inventait 0 % et Claude Sonnet 5.5, 1 %. Qwen3.7-Flash, également un modèle de 2026, en inventait encore 69 %.

Les questions à deux sauts, où un modèle doit combiner deux faits qu'il connaît, restent un point faible. Claude Sonnet 5.5 échoue encore dans environ 10 % des cas où il répond correctement aux deux questions séparées, contre 43 % rapportés pour ChatGPT dans l'article d'origine.

Le choix du modèle compte autant que sa génération. Parmi les modèles sortis entre juillet et septembre 2026, les résultats expirés allaient de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Ni la date de sortie, ni le fournisseur, ni la taille du modèle ne prédit de façon fiable ce schéma, ont constaté les chercheurs.

Ce que supposent les prévisions

Les prévisions de marché supposent que les outils continuent de progresser. The Business Research Company projette que le marché de l'IA dans les sciences de la vie passera de 3 590 000 000 de dollars en 2025 à 4 440 000 000 de dollars en 2026, ce que le communiqué décrit comme un taux de croissance annuel composé de 23,6 %. Il prévoit 10 430 000 000 de dollars d'ici 2030, à un taux de croissance annuel composé de 23,8 %, citant l'automatisation des laboratoires par l'IA parmi les moteurs.

Cette prévision couvre l'IA dans l'ensemble des sciences de la vie, de la surveillance à distance des patients à la découverte de médicaments, et pas seulement les robots de laboratoire.

Queen et Zou tirent une conclusion plus étroite que les prévisions. Les résultats empiriques sur les LLM devraient être présentés comme des observations sur des modèles précis à un moment précis, et non comme des vérités générales, soutiennent-ils. Pour un laboratoire qui standardise son fonctionnement sur un robot, cela signifie refaire la validation, pas l'hériter.