Beam de Reflection mise sur l'efficacité d'un modèle ouvert de 501 milliards de paramètres, pas sur les scores bruts

Beam repose sur une architecture sparse de type mixture-of-experts, entraînée sur 23 800 milliards de tokens. La phase d'apprentissage par renforcement a mobilisé 10 500 GPU Nvidia GB300 pendant quatre semaines et produit plus de 100 millions de rollouts. Ces chiffres viennent de l'annonce de Reflection.

Ce que Reflection en retire n'est pas un champion des benchmarks, mais un token moins cher. Sur Terminal Bench v2.1, Beam obtient 80,1 contre 88,3 pour Kimi K3 et 88,2 pour GLM 5.3. Sur SWE Bench Pro v2-Hard, il affiche 77,2, derrière GLM 5.3 à 84,3 et Kimi K3 à 88,2. Reflection reconnaît sans détour que les modèles ouverts de pointe comme Kimi K3 restent devant en capacité brute. Pour les acheteurs, l'argument déplace la décision d'achat : il s'agit moins de savoir qui domine le classement que de mesurer le coût par tâche terminée à volume. Reflection affirme que Beam atteint des scores de raisonnement comparables à GLM-5.2 en consommant 3 à 4 fois moins de calcul d'inférence, et que l'écart se creuse face aux modèles de plus de 2 000 milliards de paramètres comme Qwen 3.8-Max.

Personne en dehors de Reflection n'a encore vérifié ces chiffres. Les poids, le rapport technique et la fiche du modèle sont annoncés pour la fin du mois, et l'entreprise prend en attendant les inscriptions à l'accès anticipé. Les résultats de benchmarks publiés par un fournisseur avant des évaluations indépendantes doivent être lus comme des déclarations, pas comme des mesures.

Le camp des benchmarks bouge aussi

GitHub a publié ReviewBench, un benchmark ouvert pour la revue de code par IA, construit à partir de l'analyse de 103,9 millions de pull requests. Le jeu de données lui-même compte 219 pull requests issues de 187 dépôts publics dans 19 langages, chaque constat étant étiqueté par sévérité et par catégorie. GitHub indique que des ingénieurs seniors ont validé l'ensemble de référence de façon indépendante, et que le benchmark lui sert désormais à prédire si les changements apportés à la revue de code de Copilot tiendront en production.

Liquid AI a profité du même jour pour livrer d1, son premier modèle de décision, qui renvoie des probabilités au lieu de générer des tokens. Liquid annonce qu'une décision textuelle prend 200 à 300 millisecondes, que d1 égale ou dépasse GPT-6.1 Sol sur quatre des six applications testées, et qu'il coûte 19 à 200 fois moins que GPT-6.1 Sol ou Claude Opus 5.5. Ces comparaisons viennent là encore du fournisseur.

Une troisième sortie va dans l'autre sens, plus petite que grande. Jeff-Code, un fork de l'agent de codage Pi, associe un modèle de décision de 800 millions de paramètres à Qwen 3.8-27B, fort de 27 milliards de paramètres. Son auteur rapporte un taux de réussite de 62,4 % contre 62,8 % pour Qwen seul sur 1 242 tâches appariées, avec un temps par tâche à 0,68 fois la référence. L'intervalle à 95 % sur le taux de réussite va de moins 2,6 à plus 2,1 points, donc la différence de qualité n'est pas établie. La vitesse est l'argument.

Ce que les chiffres ne tranchent pas

Interfaze a publié Interfaze 1.1 Lite, un modèle mixture-of-architectures qui tourne sur un seul GPU de 80 Go. Son propre tableau le place à 85,9 sur GPQA Diamond contre 92,4 pour Interfaze et 82,8 pour GPT-5.4-Mini, et à 83,8 sur olmOCR-Bench contre 85,7 pour Interfaze. Une page de scores auto-déclarés face à cinq concurrents est difficile à auditer, mais l'empreinte sur un seul GPU est une contrainte de déploiement concrète que les lecteurs peuvent vérifier.

Reste la question de savoir si ces benchmarks mesurent ce dont les acheteurs ont besoin. Veris a fait tourner 14 piles vocales sur 2 694 appels simulés dans VAmoS Pro Bench et a constaté que le taux global d'achèvement des tâches tombait de 38,7 % à 8,6 % lorsqu'un téléviseur jouait derrière l'appelant. Neuf des 14 piles ont achevé moins de 5 % de ces appels. Phonic menait le classement avec 57,5 % d'achèvement ; Grok Voice, que la page met en avant, arrivait deuxième à 44,7 %.

Des chercheurs de l'UC Riverside ont avancé une raison de se méfier de toute sortie assurée. Dans une étude publiée le 23 septembre, ils ont examiné Llama-3.1-8B de Meta et Gemma-2-9B de Google, soit 8 milliards et 9 milliards de paramètres, avec des autoencodeurs parcimonieux, et ont trouvé que les caractéristiques liées à la confiance et celles liées à l'exactitude étaient séparables. Supprimer les caractéristiques d'incertitude faisait chuter brutalement la précision. La confiance, autrement dit, n'est pas une preuve d'avoir raison.

L'argument d'efficacité de Reflection subira le même traitement dès que les poids seront disponibles. D'ici là, le plus utile chez Beam est la forme du raisonnement : non pas qu'il gagne, mais qu'il coûte moins cher de perdre un peu.