Reflections Beam: 501 Milliarden Parameter als offenes Modell, aber noch keine Gewichte und selbst gemessene Benchmarks

Der Blogbeitrag erschien am 5. Oktober, und in einem Punkt ist er eindeutig: Beam ist nicht fertig. "Beam is undergoing final red-teaming and evaluations", schreibt das Unternehmen, und Gewichte, technischer Bericht, Model Card und Entwickler-Artefakte sollen "later this month" folgen. Früher Zugang läuft über ein Anmeldeformular.

Veröffentlicht hat Reflection ein Datenblatt und eine Tabelle mit Benchmark-Werten, die das Unternehmen selbst erhoben hat. Wer das Modell später auf eigenen Workloads testen will, sollte diesen Unterschied im Kopf behalten. Im Beitrag steht nichts dazu, wann unabhängige Tests vorliegen werden.

Die Architektur ist ein sparse Mixture-of-Experts: 501.000.000.000 Parameter insgesamt, 23.000.000.000 pro Token aktiv, vortrainiert auf 23.800.000.000.000 Tokens, die Reflection als Webdaten plus eigene lizenzierte Datensätze beschreibt. Das Reinforcement Learning lief über 100.000.000 Rollouts auf 10.500 NVIDIA GB300 GPUs in vier Wochen Training. Das sind die Zahlen des Unternehmens. Es sind auch die Art von Zahlen, die Außenstehende kaum prüfen können.

Der Effizienzanspruch ist das Verkaufsargument

Reflection positioniert Beam als Arbeitstier, nicht als Spitzenmodell. In der eigenen Tabelle erreicht Beam 80,9 bei SWE-bench Verified, gegenüber 77,6 für Inkling und 70,7 für Nemotron 3 Ultra. Bei Terminal Bench v2.1 meldet das Unternehmen 80,1, hinter GLM 5.3 mit 88,2, Kimi K3 mit 88,3 und Qwen 3.8 Max mit 86,6.

Die Lücke bei der Leistungsfähigkeit räumt das Unternehmen offen ein. "Where frontier open models like Kimi K3 remain ahead on raw capability, Beam's advantage is efficiency at inference time", heißt es im Beitrag. Reflection beansprucht Werte vergleichbar mit GLM 5.2 bei anspruchsvollen Reasoning-Benchmarks, aber mit drei- bis viermal weniger Inferenzrechenleistung; der Abstand sei größer gegenüber Modellen der 2.000.000.000.000-Parameter-Klasse wie Qwen 3.8 Max.

Wenn das hält, ändert sich die Rechnung für Teams, die Coding-Agenten in großem Umfang betreiben. Inferenzkosten entscheiden, nicht der Benchmark-Rang, ob ein Agent bei jedem Pull Request läuft oder nur bei denen, die ein Mensch markiert. Das setzt auch die chinesischen Labore mit offenen Gewichten unter Druck, die bei Preis pro Token vorn lagen. Offen bleiben die Lizenz, das Format der Gewichte und die Frage, ob der Effizienzanspruch einen Test durch Dritte übersteht. Nichts davon steht im Beitrag.

Benchmarking hat gerade seine eigene Woche

Das Timing ist auf nützliche Weise unpassend. Am selben Tag veröffentlichte GitHub ReviewBench, einen offenen Benchmark für KI-Code-Review, gebaut aus einer Analyse von 103.900.000 Pull Requests auf der Plattform. Der Datensatz enthält 219 Pull Requests aus 187 öffentlichen Open-Source-Repositories in 19 Sprachen, wobei die Verteilung von Sprachen und Repository-Größen der von GitHub insgesamt entspricht. GitHub zufolge haben Senior-Engineers die goldenen True Positives vor der Veröffentlichung unabhängig gekennzeichnet, und die Größe der Pull Requests wurde bewusst auf "the reviewable middle and tail" gewichtet statt die Plattform exakt abzubilden.

GitHub schreibt außerdem, der Benchmark habe die Fähigkeit verbessert vorherzusagen, ob Änderungen an Copilot code review in der Produktion helfen würden. Das ist der interessante Teil: ein Benchmark, intern als Filter vor dem Ausliefern genutzt, nicht als Rangliste.

Kleinere Teams argumentieren dasselbe von der anderen Seite. Ein Entwickler-Release für Jeff-Code vom 5. Oktober setzt ein Entscheidungsmodell mit 800.000.000 Parametern in die Schleife des Pi-Coding-Agenten neben Qwen 3.8-27B. Über 1.242 gepaarte Aufgaben meldet es eine Bestehensquote von 62,4 Prozent gegenüber 62,8 Prozent für Qwen allein, eine gepaarte Differenz von minus 0,2 Punkten mit einem 95-Prozent-Intervall von minus 2,6 bis plus 2,1, während die durchschnittliche Zeit pro Aufgabe auf das 0,68-Fache der Baseline fiel. Das Projekt sagt ausdrücklich, dass die Beschleunigung nicht gleichmäßig ist: Es meldet das 0,96-Fache bei Terminal-Bench 2.0 und das 0,91-Fache bei SkillsBench, also keinen klaren Gewinn bei beiden.

Solche Offenlegung ist seltener, als sie sein sollte. Sie macht auch die Gesamtaussage glaubwürdiger als ein einzelner Prozentwert in der Überschrift.

Entscheidungsmodelle, Vision und der Vorstoß kleiner Modelle

Liquid AI nutzte den 5. Oktober für den Start von d1, das das Unternehmen sein erstes Entscheidungsmodell nennt und das erste, das neben Text auch Bilder verarbeitet. Entscheidungsmodelle liefern in einem einzigen Forward Pass Wahrscheinlichkeiten für eine Reihe von Fragen, statt Tokens zu generieren. Liquid zufolge dauert eine Textentscheidung 200 bis 300 ms, d1 erreicht oder schlägt GPT-6.1 Sol in vier von sechs Testanwendungen, und es kostet 19- bis 200-mal weniger als dieses Modell und als Claude Opus 5.5.

Das Unternehmen meldet 85 bis 97 Prozent Genauigkeit beim Sortieren guter und defekter Teile in einer Industrieinspektions-Demo auf dem öffentlichen VisA-Datensatz und erklärt, das Modell sei für diese Aufgabe nie trainiert worden. Außerdem will es in einem Kontextkompaktierungstest für Coding-Agenten 52 Prozent der Tokens entfernt haben, während jede für die Aufgabe nötige Ausgabe erhalten blieb. Das sind Herstellerzahlen, vom Hersteller erhoben, und so sollte man sie lesen.

Dieselbe Vorsicht gilt für Interfaze 1.1 Lite, ein Mixture-of-Architectures-Modell mit offenen Gewichten, das am 5. Oktober auf Hugging Face erschien. Es kombiniert einen Reasoning-Kern mit Spezialmodellen für Dokumente, Sprache, Segmentierung und Prognose, und die Autoren sagen, das Ganze laufe auf einer einzigen 80-GB-GPU ohne externe Dienste. Die veröffentlichte Vergleichstabelle setzt es bei MMMU-Pro auf 73,2 gegenüber 71,1 für Interfaze und 40,4 für GPT-5.4-Mini, und bei VoxPopuli-Cleaned auf eine Word Error Rate von 3,01 gegenüber 2,4 für Interfaze. Gemischte Ergebnisse in der eigenen Tabelle des Herstellers.

Im selben Umfeld veröffentlichte Veris am 5. Oktober ein Leaderboard für Voice-Agenten, gebaut aus 2.694 simulierten Anrufen zur Abrechnung von Versorgungsleistungen. Ein Fernseher, der hinter dem Anrufer lief, senkte die gepoolte Aufgabenabschlussquote von 38,7 Prozent auf 8,6 Prozent, und neun von vierzehn Voice-Stacks schlossen weniger als 5 Prozent dieser Anrufe ab. Der Spitzenreiter Phonic schloss 57,5 Prozent der Aufgaben bei 1,42 Sekunden Latenz ab. Eine Prüfung, die Richtlinien eines einzigen Versorgers, wie Veris selbst anmerkt.

Warum die fehlenden Gewichte zählen

Der Anspruch von Reflection ist der folgenreichste der Runde, weil es um Kosten in großem Maßstab geht. Er ist auch der einzige, den derzeit niemand außerhalb des Unternehmens testen kann. Das Unternehmen hat angekündigt, die Artefakte kämen diesen Monat. Bis dahin ist Beam ein Versprechen mit einer Parameterzahl daran.

Die übrigen Veröffentlichungen des Tages zeigen in dieselbe Richtung: kleinere Modelle, Spezialmodelle und Testumgebungen, die entscheiden, wann ein großes Modell überhaupt nachdenken muss. Das ist eine billigere Richtung als eine weitere Billion Parameter. Sie ist auch schwerer zu benchmarken, weshalb die offenen Datensätze, die daneben erscheinen, am Ende wichtiger sein könnten als die Modelle.