Beam revendique 501 milliards de paramètres et 3 à 4 fois moins de calcul d'inférence que GLM 5.2

Les chiffres sont arrivés avant le modèle. Dans son billet d'annonce, Reflection décrit Beam comme un modèle creux de type Mixture-of-Experts de 501 milliards de paramètres, dont 23 milliards actifs. Il vise le code, le raisonnement et les charges de travail agentiques. L'entreprise indique que Beam passe encore par « les dernières phases de red-teaming et d'évaluation ». Les poids, un rapport technique, une fiche modèle et des artefacts pour développeurs sont annoncés pour « plus tard ce mois-ci ».

Pour l'instant, tout repose donc sur des chiffres posés dans un tableau.

Les données d'entraînement citées dans le billet sont précises. Reflection dit avoir pré-entraîné le modèle sur 23 800 milliards de tokens issus du web et de jeux de données propriétaires sous licence. L'entreprise a ensuite mené une phase d'apprentissage par renforcement qui a produit plus de 100 millions de rollouts sur 10 500 GPU NVIDIA GB300, répartis sur quatre semaines. Reflection présente cette phase RL comme son avantage décisif, pas le corpus de pré-entraînement. Reste à savoir si les benchmarks publiés tiendront la route quand des testeurs indépendants auront les poids. La première semaine d'octobre ne permet pas de répondre.

Ce que dit vraiment le tableau de benchmarks

Le tableau comparatif oppose Beam à Inkling, Nemotron 3 Ultra, GLM 5.2, GLM 5.3, Kimi K3, Qwen 3.8 Max et DeepSeek V4.1 Flash. Beam obtient son meilleur score sur SWE Bench Pro v2-Hard, avec 77,2. Il devance Inkling à 56,9 et GLM 5.2 à 62,1, mais reste derrière Kimi K3 à 88,2. Sur Terminal Bench v2.1, Beam marque 80,1 contre 88,2 pour GLM 5.3 et 90,6 pour DeepSeek V4.1 Flash. Sur SWE-bench Verified, il annonce 80,9, sans chiffre pour les trois modèles chinois de cette ligne.

Reflection ne revendique aucune avance de capacité, et le billet le dit clairement : Kimi K3 « reste devant sur la capacité brute ». L'argument porte sur l'efficacité. Sur les benchmarks de raisonnement avancé, Reflection affirme que Beam égale GLM 5.2 « tout en utilisant 3 à 4 fois moins de calcul d'inférence ». L'entreprise soutient que l'écart se creuse face aux modèles de la famille 2 000 milliards de paramètres et plus, comme Qwen 3.8 Max. La ligne AIME 2026 donne 97,8 à Beam contre 99,2 pour GLM 5.2. HLE avec outils place Beam à 51,2 contre 62,5 pour GLM 5.3 et 63,9 pour DeepSeek V4.1 Flash. Ce ne sont pas des victoires, et l'entreprise ne les présente pas comme telles.

L'argument d'efficacité repose sur la propre mesure du calcul d'inférence par Reflection, et le billet ne précise pas comment cette mesure a été faite.

Une semaine chargée en mesures

Beam n'est pas le seul benchmark publié le 5 octobre. GitHub a profité du même jour pour mettre en ligne ReviewBench, un benchmark ouvert pour la revue de code par IA. Le jeu de données a été construit à partir d'une analyse de 103,9 millions de pull requests sur GitHub. Le corpus publié compte 219 pull requests issues de 187 dépôts open source publics, dans 19 langages. GitHub indique que des ingénieurs seniors ont étiqueté eux-mêmes les vrais positifs de référence avant la publication. L'entreprise affirme que son évaluation interne de la revue de code Copilot suit désormais mieux les expériences en production. Le jeu de données est public.

Veris a publié le même jour un classement d'agents vocaux, au résultat moins flatteur pour la catégorie. Sur son VAmoS Pro Bench, un téléviseur allumé derrière l'appelant fait chuter le taux de réussite global de 38,7 % à 8,6 %. Neuf des quatorze piles vocales ont terminé moins de 5 % des appels avec télévision. La meilleure pile du classement, phonic, atteint 57,5 % de tâches réussies avec une latence de 1,42 seconde ; Grok Voice suit à 44,7 %. Veris vend des services de benchmarking, ce qu'il faut garder en tête en lisant son propre classement.

Il y a ensuite l'angle des petits modèles, qui contredit entièrement le cadrage autour des gros modèles. Un projet GitHub baptisé Jeff-Code place un modèle de décision de 800 millions de paramètres dans la boucle de l'agent autour de Qwen 3.8-27B. Il rapporte 1 242 tâches appariées, avec un taux de réussite de 62,4 % contre 62,8 % pour Qwen seul, et un temps par tâche à 0,68 fois celui de la référence. L'intervalle de confiance sur le taux de réussite va de -2,6 à +2,1 points. Le même dépôt reconnaît franchement ses limites. Aucun gain net n'apparaît sur Terminal-Bench 2.0 (0,96 fois) ni sur SkillsBench (0,91 fois), et environ 5 % des tâches ont duré plus de 30 minutes de plus que la référence.

L'alternative au modèle plus gros

Le d1 de Liquid AI, annoncé le 5 octobre, fait un pari proche dans l'autre sens. C'est un modèle de décision : il lit du texte, des images ou les deux en une seule passe avant et renvoie des probabilités au lieu de générer des tokens. Une décision sur du texte prend 200 à 300 ms. Liquid affirme que d1 égale ou dépasse GPT-6.1 Sol sur quatre des six applications testées, pour un coût de 19 à 200 fois inférieur. Ce sont des chiffres de fournisseur, sur des tâches choisies par le fournisseur.

Le schéma se répète dans toutes ces publications. Les affirmations de capacité deviennent difficiles à séparer des affirmations de coût. Et les coûts sont généralement mesurés par celui qui vend le modèle.

Sean Goedecke a donné la version structurelle de cet argument dans un billet du 5 octobre consacré aux modèles dits System One, comme Jev. Son idée : un classifieur général utilisé avec un prompt génère exactement les données étiquetées nécessaires pour entraîner un classifieur plus étroit et moins cher sur la même tâche. « Pour du travail sérieux, un classifieur spécifique construit à la main sera toujours moins cher et plus rapide que Jev », écrit-il. Si cela se vérifie, la course à l'efficacité à la frontière est en partie une course pour construire son propre remplaçant.

Ce qui manque au tableau de Beam

Le billet de Reflection contient une ligne appelée AA Omniscience, marquée « public split only (our results) ». Beam y marque 13,0 contre 22,6 pour GLM 5.3 et 14,2 pour Inkling. C'est la seule ligne où les tests de l'entreprise elle-même la placent derrière un modèle qu'elle dit égaler ailleurs. La mention laisse penser que la comparaison n'est pas à périmètre égal. Plusieurs autres cellules affichent NR, pour not reported. Un tableau de benchmarks avec des trous est normal au lancement ; ce n'est pas une preuve pour autant.

Une infrastructure d'évaluation indépendante arrive en même temps. L'UC Riverside a publié le 23 septembre une recherche montrant que la confiance et l'exactitude proviennent de caractéristiques internes différentes dans les grands modèles de langage. Les travaux ont porté sur Llama-3.1-8B de Meta et Gemma-2-9B de Google. Het Patel, premier auteur, explique que l'hypothèse dominante du domaine veut que la confiance prédise l'exactitude, et que les contre-exemples sont bien documentés. Supprimer les caractéristiques liées uniquement à l'incertitude a fortement réduit la précision. Les signaux internes sont donc intriqués d'une manière qu'un score de benchmark ne montrera jamais.

Rien de tout cela ne dit si Beam est bon. Cela dit ce qui le déterminerait : les poids, un rapport technique, et quelqu'un sans intérêt dans le résultat qui refait les mêmes tests. Reflection annonce les trois pour ce mois-ci. D'ici là, le chiffre de 501 milliards de paramètres et l'argument des 3 à 4 fois moins de calcul restent un communiqué de presse avec un tableau joint. Les 27 milliards de paramètres du rapport technique et les 9 milliards de paramètres actifs annoncés pour les versions suivantes restent, eux aussi, à vérifier.