De nouveaux benchmarks et des études visent les modèles d'IA qui ont l'air sûrs et se trompent

Le 5 octobre, Reflection a présenté Beam, son premier modèle à poids ouverts. C'est un mélange d'experts clairsemé, avec 501 000 000 000 de paramètres au total et 23 000 000 000 actifs, préentraîné sur 23 800 000 000 000 de tokens. Le blog de l'entreprise précise que les poids, le rapport technique et la fiche du modèle suivront « plus tard ce mois-ci ». Il indique aussi que Beam passe encore ses derniers tests de red teaming.

Les chiffres de Reflection montrent où en est le modèle. Sur SWE Bench Pro v2-Hard, Beam obtient 77,2 contre 88,2 pour Kimi K3. Sur Terminal Bench v2.1, il atteint 80,1, tandis que K3 monte à 88,3 et DeepSeek V4.1 Flash à 90,6. L'argument n'est pas la première place mais le coût. Beam revendique des scores de raisonnement comparables à GLM-5.2 avec 3 à 4 fois moins de calcul d'inférence, selon le même billet.

Pourquoi une réponse assurée n'est pas une réponse juste

Le problème d'évaluation qui se cache sous ces tableaux a un versant de recherche. Une équipe de l'UC Riverside, dirigée par le doctorant Het Patel, a examiné Llama-3.1-8B de Meta et Gemma-2-9B de Google à l'aide d'autoencodeurs clairsemés. Elle a réparti des réponses à choix multiples en quatre groupes, selon qu'elles étaient justes ou fausses et selon que le modèle était confiant ou incertain. L'équipe a trouvé des caractéristiques liées surtout à l'incertitude, d'autres liées surtout aux mauvaises réponses, et des caractéristiques qui se recoupent. Neutraliser les caractéristiques liées uniquement à l'incertitude fait chuter brutalement la précision, d'après la note de l'université.

« L'hypothèse principale du domaine est que, lorsque le modèle est confiant, il est probablement correct, et que, lorsqu'il doute, il est plus probablement incorrect », a déclaré Patel dans le communiqué de l'UCR. « Mais nous voyons souvent les contre-exemples, qui sont bien documentés. »

L'affirmation pratique est que certaines de ces caractéristiques internes peuvent être atténuées sans réentraîner tout le modèle. Patel compare cela à des boutons que l'on tourne. Cela compte, parce que le remède habituel à un modèle trop sûr de lui est un nouvel entraînement. La mesure habituelle d'un modèle trop sûr de lui est un benchmark qui note les réponses, pas le sentiment de doute du modèle lui-même.

Les benchmarks se construisent pour le doute

GitHub a profité du 5 octobre pour publier ReviewBench, un benchmark ouvert pour la revue de code par IA. Il repose sur l'analyse de 103 900 000 de pull requests sur GitHub. Il contient 219 pull requests issues de 187 dépôts open source publics, dans 19 langages. GitHub affirme que des ingénieurs seniors ont étiqueté indépendamment les vrais positifs de référence avant la publication. La société précise aussi que chaque constat porte une étiquette de gravité et de catégorie, ce qui permet aux équipes de découper les résultats selon leurs préférences en précision et en rappel.

L'aveu gênant du billet de GitHub concerne son propre produit. L'entreprise écrit qu'avec ReviewBench, son évaluation hors ligne de la revue de code Copilot « est devenue plus efficace pour anticiper la direction des expériences en production ». Autrement dit, l'ancien signal hors ligne ne suivait pas d'assez près ce qui se passait en production. Un benchmark qui prédit le monde réel est un objet différent de celui qui classe des modèles sur un tableau de scores.

Veris a appliqué la même intuition aux agents vocaux. Son VAmoS Pro Bench, publié le 5 octobre, a fait tourner 14 piles vocales sur 2 694 appels simulés au service de facturation. L'achèvement des tâches va de 57,5 % pour la meilleure pile à 17,3 % pour la dernière. Aucun chiffre unique n'aurait rendu cette dispersion. Le tableau enregistre aussi les taux d'interruption et le coût par appel. Il montre qu'une télévision allumée derrière l'appelant fait tomber l'achèvement global de 38,7 % à 8,6 %, alors qu'un bruit de rue au même niveau ne coûte rien.

Petits modèles, petites décisions, résultats mesurables

Toute évaluation n'a pas besoin d'un laboratoire. Un projet GitHub nommé Jeff-Code, publié le 5 octobre, insère un modèle de décision de 800 000 000 de paramètres dans la boucle d'agent de Pi, l'agent de codage de Mario Zechner, aux côtés de Qwen 3.8-27B. Jeff passe deux appels rapides autour de chaque tour de Qwen, d'environ 0,2 seconde chacun. L'un demande s'il peut franchir lui-même l'étape d'information suivante. L'autre demande si Qwen doit réfléchir intensément. Qwen 3.8-27B compte 27 000 000 000 de paramètres.

Les résultats appariés, obtenus sur 1 242 tâches, donnent un taux de réussite de 62,4 % contre 62,8 % pour Qwen seul. Les auteurs annoncent un écart de moins 0,2 point, avec un intervalle à 95 % allant de moins 2,6 à plus 2,1. Le temps par tâche tombe à 0,68 fois la référence, avec une médiane à 0,70. Désactiver la réflexion à chaque tour est encore plus rapide mais coûte 7,6 points. Un seuil moins prudent à 0,7 coûte 4,5 points. Le dépôt note aussi que, sur environ 5 % des tâches, le dispositif a tourné plus de 30 minutes de plus que Qwen seul.

Ce dernier détail est exactement ce que les accélérations agrégées masquent. Il en va de même pour l'argument de conception de benchmarks avancé par Matklad le 5 octobre. Choisissez une taille d'entrée qui fasse tourner un micro-benchmark en environ 300 ms. En dessous de 10 ms, le risque est de subir la distorsion des coûts fixes comme le démarrage de l'interpréteur, et au-delà d'une seconde, les exécutions répétées deviennent lentes. Sa prémisse est que le benchmark existe pour donner à l'auteur assez d'intuition pour prendre une décision correcte, pas pour produire une mesure précise.

Une vague de modèles de décision, chacun avec son tableau de scores

Liquid AI a profité du 5 octobre pour lancer d1, un modèle de décision qui renvoie des probabilités au lieu de générer des tokens. Il accepte désormais des images en plus du texte. L'entreprise dit l'avoir testé face à GPT-6.1 Sol et Claude Opus 5.5 sur six applications. Il égale ou dépasse GPT-6.1 Sol sur quatre d'entre elles, à un coût 19 à 200 fois plus faible. Sur un jeu de données public d'inspection industrielle, il trie les pièces bonnes et défectueuses avec une précision de 85 % à 97 %, selon le blog, sans avoir été entraîné pour cette tâche.

Interfaze a publié le même jour une autre forme de système : Interfaze 1.1 Lite. Il combine un cœur de raisonnement avec des modèles spécialisés pour les documents, la parole, la segmentation et la prévision, et tourne sur un seul GPU de 80 Go. Son tableau publié le place à 85,9 sur GPQA Diamond, contre 92,4 pour Interfaze et 89,9 pour Claude-Sonnet-4.6. Il le place à 83,8 sur olmOCR-Bench, contre 85,7 pour le plus grand modèle Interfaze. Ce sont des chiffres déclarés par le fournisseur, sur des benchmarks choisis par le fournisseur, soit précisément l'écart de mesure que les benchmarks de revue de code et de voix cherchent à combler.

Le contrepoids, c'est le coût et la vitesse. Un modèle qui répond en 200 à 300 millisecondes avec une probabilité peut être vérifié ou écarté à peu de frais. Un modèle qui génère un paragraphe de prose assurée, non. Sean Goedecke soutenait le 5 octobre que des modèles de décision comme Jev seront faciles à distiller en classifieurs construits à la main une fois un cas d'usage validé. Le prompt et ses sorties fournissent gratuitement des données étiquetées. L'entraîneur devient l'entraîné.

À quoi ressemblent les preuves hors de l'IA

Pour comparer, voyez à quoi ressemble une grande étude bien ancrée. PsyPost a rapporté le 4 octobre une étude portant sur plus de 2 500 000 d'enfants, publiée dans The Pediatric Infectious Disease Journal. Elle ne trouve aucun lien entre la vaccination ROR avant l'âge de deux ans et l'autisme. Le chercheur principal, Todd Burstain, de UW Medicine, a déclaré à PsyPost que les études européennes antérieures s'appuyaient sur des données de 2 000 à 2 012, quand la prévalence de l'autisme était environ le tiers des niveaux américains actuels. Selon lui, une analyse de référence ancrée sur l'âge évite le biais du temps immortel.

C'est la norme à laquelle les benchmarks d'IA sont mesurés, et la plupart en sont loin. Les tableaux des fournisseurs sont auto-déclarés, souvent sur des benchmarks choisis par le fournisseur, parfois avec des lignes marquées « non communiqué » pour les concurrents. Le billet de Reflection sur Beam est inhabituellement franc là-dessus, puisqu'il liste les scores manquants des rivaux à côté des siens, mais les entrées absentes restent absentes. ReviewBench de GitHub, le tableau vocal de Veris et les exécutions appariées de Jeff-Code vont tous dans la même direction : publier le protocole, la distribution et l'intervalle, pas seulement le chiffre de tête.

D'autres sorties du 5 octobre suivent le modèle du petit outil mesurable plutôt que de la grande promesse. Reika, un CLI d'agent de codage bâti autour de modèles locaux de 8 000 000 000 à 35 000 000 000 de paramètres, publie ses propres constats. Une réécriture en milieu de contexte a retraité 8 453 tokens de prompt, coûtant 7,9 minutes de préremplissage. Un ajout dans la même session a coûté 25 tokens et 3,5 secondes. Precogly a livré la version 0.4.0 d'une plateforme open source de modélisation des menaces et rejoint l'OWASP. La NASA et IBM ont publié du code de fine-tuning pour un modèle de fondation lunaire couvrant la détection de cratères et la prospection de glace.

Aucun de ces travaux ne tranche si un modèle sait ce qu'il ne sait pas. Les recherches de l'UCR suggèrent que le signal interne existe et peut être ajusté. Les nouveaux benchmarks suggèrent que le signal externe était trop grossier pour le remarquer. Les deux disent la même chose. Une réponse et une assurance sont deux sorties différentes, et une seule des deux a été correctement mesurée jusqu'ici.