Reflections Beam setzt bei einem offenen Modell mit 501 Milliarden Parametern auf Effizienz, nicht auf Spitzenwerte

Beam ist ein sparse Mixture-of-Experts, trainiert auf 23,8 Billionen Tokens. Für das Reinforcement Learning liefen vier Wochen lang 10.500 Nvidia GB300 GPUs, dabei entstanden mehr als 100 Millionen Rollouts. Die Zahlen stammen aus Reflections eigener Ankündigung.

Was das nach Darstellung von Reflection bringt, ist kein Benchmark-Spitzenreiter, sondern ein billigeres Token. Auf Terminal Bench v2.1 erreicht Beam 80,1, Kimi K3 kommt auf 88,3 und GLM 5.3 auf 88,2. Auf SWE Bench Pro v2-Hard stehen 77,2 zu Buche, hinter GLM 5.3 mit 84,3 und Kimi K3 mit 88,2. Reflection sagt offen, dass Frontier-Modelle wie Kimi K3 bei der rohen Leistungsfähigkeit vorn bleiben. Für Käufer verschiebt sich damit die Kaufentscheidung: weniger die Frage, wer oben in der Tabelle steht, mehr die Frage nach den Kosten pro erledigter Aufgabe im Volumen. Reflection behauptet, Beam erreiche Reasoning-Werte vergleichbar mit GLM-5.2 und brauche dabei drei- bis viermal weniger Inferenz-Rechenleistung. Gegenüber Modellen jenseits von 2 Billionen Parametern wie Qwen 3.8-Max falle der Abstand laut Unternehmen größer aus.

Niemand außerhalb von Reflection hat das bisher überprüft. Gewichte, technischer Bericht und Model Card sind für diesen Monat versprochen, bis dahin nimmt das Unternehmen Anmeldungen für Early Access an. Benchmark-Zahlen, die ein Anbieter vor unabhängigen Läufen veröffentlicht, sind Behauptungen, keine Ergebnisse.

Auch auf der Benchmark-Seite bewegt sich etwas

GitHub hat ReviewBench veröffentlicht, einen offenen Benchmark für KI-Code-Review, entstanden aus der Analyse von 103,9 Millionen Pull Requests. Der Datensatz selbst umfasst 219 Pull Requests aus 187 öffentlichen Repositories in 19 Sprachen, jeder Befund ist nach Schweregrad und Kategorie gelabelt. GitHub zufolge haben Senior-Engineers das Golden Set unabhängig geprüft, und der Benchmark hilft dem Unternehmen inzwischen vorherzusagen, ob Änderungen am Copilot Code Review im Produktivbetrieb halten.

Liquid AI hat am selben Tag d1 ausgeliefert, sein erstes Decision Model, das Wahrscheinlichkeiten zurückgibt statt Tokens zu erzeugen. Laut Liquid dauert eine Textentscheidung 200 bis 300 Millisekunden, d1 erreicht oder schlägt GPT-6.1 Sol in vier von sechs getesteten Anwendungen, und es kostet 19- bis 200-mal weniger als GPT-6.1 Sol oder Claude Opus 5.5. Auch diese Vergleiche stammen vom Anbieter.

Ein dritter Release ging den anderen Weg, klein statt groß. Jeff-Code, ein Fork des Pi Coding Agent, kombiniert ein Decision Model mit 800 Millionen Parametern mit Qwen 3.8-27B, das 27 Milliarden Parameter hat. Der Autor meldet eine Pass-Rate von 62,4 Prozent gegenüber 62,8 Prozent für Qwen allein, über 1.242 gepaarte Aufgaben, mit 0,68-facher Zeit pro Aufgabe gegenüber der Baseline. Das 95-Prozent-Intervall der Pass-Rate reicht von minus 2,6 bis plus 2,1 Punkten, der Qualitätsunterschied ist also nicht belegt. Die Geschwindigkeit ist die Behauptung.

Was die Zahlen nicht klären

Interfaze hat Interfaze 1.1 Lite veröffentlicht, ein Mixture-of-Architectures-Modell, das auf einer einzigen GPU mit 80 GB läuft. Die eigene Tabelle führt es mit 85,9 auf GPQA Diamond gegen 92,4 für Interfaze und 82,8 für GPT-5.4-Mini, und mit 83,8 auf olmOCR-Bench gegen 85,7 für Interfaze. Eine Seite mit selbst gemeldeten Werten über fünf Wettbewerber lässt sich schwer prüfen, der Footprint von 8 Milliarden Bytes auf einer GPU ist dagegen eine konkrete Deployment-Grenze, die Leser nachvollziehen können.

Dann ist da die Frage, ob diese Benchmarks messen, was Käufer brauchen. Veris hat 14 Voice-Stacks über 2.694 simulierte Anrufe auf VAmoS Pro Bench laufen lassen und festgestellt, dass die gepoolte Task-Completion von 38,7 auf 8,6 Prozent fiel, wenn hinter dem Anrufer ein Fernseher lief. Neun der 14 Stacks schlossen weniger als 5 Prozent dieser Anrufe ab. Phonic führte die Tabelle mit 57,5 Prozent Completion an, Grok Voice, das die Seite in der Überschrift führt, lag mit 44,7 Prozent auf Platz zwei.

Forscher der UC Riverside lieferten einen Grund, selbstsicheren Ausgaben grundsätzlich zu misstrauen. In einer am 23. September veröffentlichten Studie untersuchten sie Metas Llama-3.1-8B und Googles Gemma-2-9B mit sparse Autoencodern und fanden heraus, dass sich Merkmale für Zuversicht und Merkmale für Korrektheit trennen lassen. Unterdrückte man die Unsicherheits-Merkmale, sank die Genauigkeit deutlich. Zuversicht ist mit anderen Worten kein Ersatz dafür, richtig zu liegen.

Reflections Effizienz-Behauptung bekommt dieselbe Behandlung, sobald die Gewichte da sind. Bis dahin ist das Nützlichste an Beam die Form des Arguments: nicht dass es gewinnt, sondern dass es weniger kostet, ein bisschen zu verlieren.