Beam verspricht 501 Mrd. Parameter und 3- bis 4-mal weniger Inferenz-Rechenleistung als GLM 5.2

Die Zahlen kamen vor dem Modell. Der Launch-Post von Reflection beschreibt Beam als sparse Mixture-of-Experts-Modell mit 501 Milliarden Parametern, von denen 23 Milliarden aktiv sind. Es zielt auf Coding, Reasoning und agentische Workloads. Das Unternehmen teilt mit, Beam durchlaufe noch „final red-teaming and evaluations“. Gewichte, ein technischer Report, eine Model Card und Entwickler-Artefakte sollen „later this month“ erscheinen.

Bis dahin ist alles eine Behauptung auf einem Diagramm.

Die Trainingsangaben im Post sind konkret. Reflection gibt an, auf 23,8 Billionen Token aus dem Web und lizenzierten proprietären Datensätzen vorzutrainieren. Danach lief eine Reinforcement-Learning-Phase, die über 100 Millionen Rollouts auf 10.500 NVIDIA GB300 GPUs über vier Wochen erzeugte. Das Unternehmen sieht in diesem RL-Lauf den Unterschied, nicht im Pretraining-Korpus. Ob die veröffentlichten Benchmarks Bestand haben, sobald unabhängige Tester die Gewichte in der Hand halten, bleibt die offene Frage. In der ersten Oktoberwoche lässt sie sich nicht beantworten.

Was die Benchmark-Tabelle tatsächlich sagt

Die Vergleichstabelle stellt Beam gegen Inkling, Nemotron 3 Ultra, GLM 5.2, GLM 5.3, Kimi K3, Qwen 3.8 Max und DeepSeek V4.1 Flash. Am stärksten schneidet Beam bei SWE Bench Pro v2-Hard mit 77,2 ab. Das liegt vor Inkling mit 56,9 und GLM 5.2 mit 62,1, aber hinter Kimi K3 mit 88,2. Bei Terminal Bench v2.1 erreicht Beam 80,1 gegen 88,2 für GLM 5.3 und 90,6 für DeepSeek V4.1 Flash. Bei SWE-bench Verified meldet es 80,9, für die drei chinesischen Modelle in dieser Zeile fehlt eine Zahl.

Reflection beansprucht keine Führung bei den Fähigkeiten, und der Post sagt das direkt: Kimi K3 „remain[s] ahead on raw capability“. Der Anspruch ist Effizienz. Bei fortgeschrittenen Reasoning-Benchmarks erreiche Beam GLM 5.2 „while using 3-4x less inference compute“. Der Abstand wachse gegenüber Modellen der 2-Billionen-Parameter-Klasse wie Qwen 3.8 Max. Die Zeile AIME 2026 gibt Beam 97,8 gegen 99,2 für GLM 5.2. HLE with tools setzt Beam auf 51,2 gegen 62,5 für GLM 5.3 und 63,9 für DeepSeek V4.1 Flash. Das sind keine Siege, und das Unternehmen stellt sie auch nicht als solche dar.

Der Effizienzanspruch stützt sich auf Reflections eigene Messung der Inferenz-Rechenleistung, und der Post sagt nicht, wie diese Messung zustande kam.

Eine volle Woche für Messungen

Beam war nicht die einzige Benchmark, die am 5. Oktober erschien. GitHub nutzte denselben Tag für ReviewBench, eine offene Benchmark für KI-Code-Review. Grundlage war eine Analyse von 103,9 Millionen Pull Requests auf GitHub. Der Datensatz selbst umfasst 219 Pull Requests aus 187 öffentlichen Open-Source-Repositories in 19 Sprachen. GitHub teilt mit, Senior-Engineers hätten die goldenen True-Positives vor der Veröffentlichung unabhängig gelabelt. Die interne Evaluierung des Copilot Code Review bilde Produktionsexperimente seither besser ab. Der Datensatz ist öffentlich.

Veris veröffentlichte am selben Tag ein Voice-Agent-Leaderboard mit einem weniger schmeichelhaften Ergebnis für die Kategorie. In seinem VAmoS Pro Bench senkte ein hinter dem Anrufer laufender Fernseher die gepoolte Task-Completion von 38,7% auf 8,6%. Neun von vierzehn Voice-Stacks schafften bei den TV-Anrufen weniger als 5%. Der beste Stack der Tabelle, phonic, erreichte 57,5% Task-Completion bei 1,42 Sekunden Latenz; Grok Voice kam mit 44,7% auf Platz zwei. Veris verkauft Benchmarking-Dienste, was man beim Lesen der eigenen Tabelle im Kopf behalten sollte.

Dann ist da noch die Kleinmodell-Perspektive, die der Großmodell-Erzählung komplett widerspricht. Ein GitHub-Projekt namens Jeff-Code setzt ein Entscheidungsmodell mit 0,8 Milliarden Parametern in die Agent-Loop um Qwen 3.8-27B mit 27 Milliarden Parametern. Es meldet 1.242 gepaarte Aufgaben bei 62,4% Pass-Rate gegen 62,8% für Qwen allein, bei 0,68-facher Zeit pro Aufgabe. Das Konfidenzintervall der Pass-Rate reicht von -2,6 bis +2,1 Punkten. Dasselbe Repo ist offen damit, wo es scheitert. Bei Terminal-Bench 2.0 (0,96-fach) und SkillsBench (0,91-fach) zeigt sich keine klare Beschleunigung, und etwa 5% der Aufgaben liefen mehr als 30 Minuten länger als die Baseline.

Die Alternative zum größeren Modell

Liquid AIs d1, am 5. Oktober angekündigt, setzt eine verwandte Wette aus der anderen Richtung. Es ist ein Entscheidungsmodell: Es liest Text, Bilder oder beides in einem Forward Pass und gibt Wahrscheinlichkeiten zurück, statt Token zu generieren. Eine Textentscheidung dauert 200 bis 300 ms. Liquid teilt mit, d1 erreiche oder übertreffe GPT-6.1 Sol in vier von sechs getesteten Anwendungen, bei 19- bis 200-fach geringeren Kosten. Das sind Anbieterzahlen auf vom Anbieter gewählten Aufgaben.

Das Muster über all diese Veröffentlichungen ist dasselbe. Fähigkeitsaussagen lassen sich immer schwerer von Kostenaussagen trennen. Die Kostenaussagen misst meist die Partei, die das Modell verkauft.

Sean Goedecke hat die strukturelle Variante dieses Arguments in einem Post vom 5. Oktober über sogenannte System-One-Modelle wie Jev formuliert. Sein Punkt: Ein allgemeiner Klassifikator, der mit einem Prompt läuft, erzeugt genau die gelabelten Daten, die man braucht, um einen billigeren, engeren Klassifikator für dieselbe Aufgabe zu trainieren. „For serious work, a specific hand-built classifier will always be cheaper and faster than Jev“, schreibt er. Wenn das stimmt, ist das Effizienzrennen an der Frontier teilweise ein Rennen darum, den eigenen Ersatz zu bauen.

Was im Beam-Bild fehlt

Der Post von Reflection enthält eine Zeile namens AA Omniscience, markiert mit „public split only (our results)“. Dort erreicht Beam 13,0 gegen 22,6 für GLM 5.3 und 14,2 für Inkling. Es ist die einzige Zeile, in der die eigenen Tests des Unternehmens es hinter ein Modell setzen, dem es anderswo Gleichstand bescheinigt. Das Label deutet an, dass der Vergleich nicht eins zu eins ist. Mehrere andere Zellen tragen NR, also not reported. Eine Benchmark-Tabelle mit Lücken ist zum Launch normal; sie ist auch kein Beleg.

Unabhängige Evaluierungsinfrastruktur entsteht zur selben Zeit. UC Riverside veröffentlichte am 23. September Forschung, die zeigt, dass Konfidenz und Korrektheit in großen Sprachmodellen aus unterschiedlichen internen Merkmalen entstehen. Die Arbeit nutzte Metas Llama-3.1-8B mit 8 Milliarden Parametern und Googles Gemma-2-9B mit 9 Milliarden Parametern. Het Patel, der Erstautor, sagte, die Grundannahme des Feldes sei, dass Konfidenz Korrektheit vorhersagt, und Gegenbeispiele seien gut dokumentiert. Die Unterdrückung von Merkmalen, die rein an Unsicherheit hängen, senkte die Genauigkeit deutlich. Die internen Signale sind also auf eine Weise verschränkt, die ein Benchmark-Score nie zeigt.

Nichts davon entscheidet, ob Beam gut ist. Es entscheidet, was das entscheiden würde: die Gewichte, ein technischer Report und jemand ohne eigenes Interesse am Ergebnis, der dieselben Tests fährt. Reflection sagt, alle drei kämen diesen Monat. Bis dahin sind die 501 Milliarden und der 3- bis 4-fache Rechenanspruch eine Pressemitteilung mit angehängter Tabelle.