Les benchmarks sont partout, mais ils mesurent moins que ce qu'annoncent les laboratoires

GitHub a publié ReviewBench le 5 octobre. C'est un benchmark ouvert pour la revue de code par IA, construit à partir de 219 pull requests publiques dans 19 langages. L'entreprise dit avoir calqué l'ensemble sur 103 900 000 pull requests passées par GitHub. Des ingénieurs seniors ont étiqueté les vrais positifs avant la publication. GitHub affirme que le jeu de données est public et prêt à accueillir de nouveaux systèmes de revue de code.

Le calendrier compte moins que la construction. ReviewBench note les réviseurs sur quatre métriques. Il classe chaque constat par gravité et par catégorie, ce qui permet à une équipe de voir si un modèle repère les bugs critiques ou produit simplement du bruit. GitHub dit aussi que son évaluation hors ligne de la revue de code Copilot prédit désormais mieux si une modification aidera en production. C'est là l'affirmation à tester : un benchmark ne gagne la confiance que lorsque ses scores suivent ce que voient les utilisateurs.

Un agent vocal qui échoue quand la télévision est allumée

Veris a publié le même jour les résultats de son banc VAmoS Pro, avec un constat qui ressemble à une mise en garde. Le test a simulé 2 694 appels téléphoniques pour une tâche de facturation d'électricité. Une télévision allumée derrière l'appelant fait chuter le taux de réussite global de 38,7 % à 8,6 %. Le bruit de rue au même niveau ne coûte rien, selon le classement. Neuf des quatorze piles vocales ont réussi moins de 5 % des appels avec télévision.

Veris place Phonic en tête avec 57,5 % de réussite et une latence de 1,42 seconde. Grok Voice Think Fast 2.0 suit à 44,7 % et Gemini 3.8 Live à 40,1 %. La pile Whisper, gpt-oss-120b et Kokoro de Hugging Face ferme la marche à 19,0 %. Veris précise qu'il s'agit d'un seul examen, sur les politiques d'un seul fournisseur d'électricité. À prendre comme un instantané, pas comme un verdict sur les éditeurs.

Le même banc a testé huit modèles de décision sur le moment où un agent doit parler. Clef Flash et Nimble de Cloudflare ont le moins coupé la parole aux appelants. Clef Flash a répondu environ une seconde plus tôt que Nimble. Dans une autre série de 600 appels, Veris indique que les interruptions sont passées de 52 % des tours d'appelant à 11 % avec la détection sémantique des tours de parole. Ce chiffre vient des tests de l'éditeur, pas d'un audit indépendant.

Les promesses d'efficacité méritent le même examen

Reflection a présenté son premier modèle à poids ouverts, Beam, le 5 octobre. C'est une architecture à mélange d'experts creux, avec 501 000 000 000 de paramètres au total et 23 000 000 000 actifs. L'entreprise dit l'avoir pré-entraîné sur 23 800 000 000 000 de tokens. Elle a mené l'apprentissage par renforcement sur 10 500 GPU Nvidia GB300 pendant quatre semaines. Elle affirme aussi que Beam égale GLM 5.2 en raisonnement avancé tout en consommant 3 à 4 fois moins de calcul d'inférence.

Le tableau de Beam lui-même contredit le titre. Sur SWE Bench Pro v2-Hard, Kimi K3 obtient 88,2 contre 77,2 pour Beam. Sur Terminal Bench v2.1, Kimi K3 atteint 88,3 contre 80,1. Reflection le présente honnêtement comme un avantage d'efficacité, pas comme une avance de capacité. Les poids, le rapport technique et la fiche du modèle sont encore attendus plus tard ce mois-ci.

Les projets plus petits font des promesses plus petites. Un fork de l'agent de codage Pi nommé Jeff-Code associe un modèle de décision de 800 000 000 de paramètres à Qwen 3.8-27B. Il annonce un taux de réussite de 62,4 % contre 62,8 % pour Qwen seul, soit un écart apparié de moins 0,2 point. Il réduit aussi le temps moyen par tâche à 0,68 fois. Le modèle de décision d1 de Liquid AI est sorti le 5 octobre avec la prise en charge des images. Il répond en 200 à 300 ms sans générer de tokens, selon l'entreprise. Il coûte 19 à 200 fois moins que GPT-6.1 Sol et Claude Opus 5.5.

Deux choses restent inconnues. Personne en dehors des laboratoires n'a fait tourner ces systèmes sur des tâches qu'il n'a pas choisies. Les éditeurs n'ont pas publié les cas d'échec derrière leurs moyennes. D'ici là, un score de benchmark est un point de départ pour un achat, pas la décision.