Benchmarks gibt es überall, doch sie messen weniger, als die Labore behaupten

GitHub hat ReviewBench am 5. Oktober veröffentlicht. Es ist ein offener Benchmark für KI-Code-Review, aufgebaut aus 219 öffentlichen Pull Requests in 19 Sprachen. Das Unternehmen gibt an, das Set nach dem Vorbild von 103.900.000 Pull Requests modelliert zu haben, die über GitHub gelaufen sind. Senior-Entwickler haben die echten Treffer vor der Veröffentlichung gekennzeichnet. GitHub zufolge ist der Datensatz öffentlich und bereit, neue Code-Review-Systeme aufzunehmen.

Der Zeitpunkt ist weniger wichtig als der Aufbau. ReviewBench bewertet Prüfsysteme anhand von vier Kennzahlen. Jeder Befund wird nach Schweregrad und Kategorie gekennzeichnet, sodass ein Team sehen kann, ob ein Modell kritische Fehler findet oder nur Rauschen erzeugt. GitHub erklärt außerdem, seine Offline-Bewertung von Copilot Code Review sage jetzt besser voraus, ob eine Änderung im Produktivbetrieb hilft. Genau diese Behauptung sollte man prüfen: Ein Benchmark gewinnt Vertrauen erst, wenn seine Werte das abbilden, was Nutzer erleben.

Ein Sprachagent, der bei laufendem Fernseher versagt

Veris hat am selben Tag die Ergebnisse seiner VAmoS-Pro-Prüfung veröffentlicht, mit einem Befund, der wie ein Warnhinweis klingt. Der Test umfasste 2.694 simulierte Telefonanrufe für eine Aufgabe zur Abrechnung von Versorgungsleistungen. Ein Fernseher, der hinter dem Anrufer lief, senkte die zusammengefasste Aufgabenlösungsquote von 38,7% auf 8,6%. Straßenlärm auf demselben Pegel kostete laut Bestenliste nichts. Neun von vierzehn Sprach-Stacks lösten weniger als 5% der Anrufe mit Fernseher.

Veris setzt Phonic mit 57,5% Aufgabenlösung und 1,42 Sekunden Latenz auf Platz eins. Grok Voice Think Fast 2.0 folgt mit 44,7%, Gemini 3.8 Live mit 40,1%. Der Stack aus Whisper von Hugging Face, gpt-oss-120b und Kokoro liegt mit 19,0% am Ende. Veris betont ausdrücklich, dass dies eine einzige Prüfung zu den Richtlinien eines einzigen Versorgers ist. Die Reihenfolge ist eine Momentaufnahme, kein Urteil über die Anbieter.

Dieselbe Bestenliste testete acht Entscheidungsmodelle dazu, wann ein Agent sprechen soll. Clef Flash von Cloudflare und Nimble redeten am seltensten dazwischen. Clef Flash antwortete etwa eine Sekunde schneller als Nimble. In einem separaten Lauf mit 600 Anrufen sanken die Unterbrechungen nach Angaben von Veris von 52% der Anrufer-Turns auf 11%, sobald eine semantische Turn-Erkennung zum Einsatz kam. Diese Zahl stammt aus den eigenen Tests des Anbieters, nicht aus einer unabhängigen Prüfung.

Effizienzaussagen brauchen dieselbe Prüfung

Reflection hat am 5. Oktober sein erstes Modell mit offenen Gewichten vorgestellt, Beam. Es ist ein sparse Mixture-of-Experts-Design mit 501.000.000.000 Gesamtparametern, von denen 23.000.000.000 aktiv sind. Nach Angaben des Unternehmens lief das Pretraining auf 23.800.000.000.000 Tokens. Das Reinforcement Learning lief vier Wochen lang auf 10.500 Nvidia GB300 GPUs. Außerdem soll Beam bei fortgeschrittenem Schlussfolgern mit GLM 5.2 mithalten und dabei 3- bis 4-mal weniger Inferenz-Rechenleistung brauchen.

Die Tabelle von Beam selbst entkräftet die Schlagzeile. Bei SWE Bench Pro v2-Hard erreicht Kimi K3 88,2 gegenüber 77,2 bei Beam. Bei Terminal Bench v2.1 kommt Kimi K3 auf 88,3 gegenüber 80,1. Reflection stellt das ehrlich als Effizienzvorteil dar, nicht als Vorsprung bei den Fähigkeiten. Die Gewichte, der technische Bericht und die Modellkarte sollen später in diesem Monat folgen.

Kleinere Projekte machen kleinere Versprechen. Ein Fork des Coding-Agenten Pi namens Jeff-Code kombiniert ein Entscheidungsmodell mit 800.000.000 Parametern mit Qwen 3.8-27B. Er meldet eine Erfolgsquote von 62,4% gegenüber 62,8% für Qwen allein, eine gepaarte Differenz von minus 0,2 Punkten. Zudem sinkt die durchschnittliche Zeit pro Aufgabe auf das 0,68-Fache. Das Entscheidungsmodell d1 von Liquid AI kam am 5. Oktober mit Bildunterstützung auf den Markt. Es antwortet in 200 bis 300 ms, ohne Tokens zu erzeugen, so das Unternehmen. Es kostet 19- bis 200-mal weniger als GPT-6.1 Sol und Claude Opus 5.5.

Zwei Dinge sind weiterhin unbekannt. Niemand außerhalb der Labore hat diese Systeme auf Aufgaben getestet, die er nicht selbst ausgewählt hat. Die Anbieter haben die Fehlerfälle hinter ihren Durchschnittswerten nicht veröffentlicht. Bis dahin ist ein Benchmark-Wert ein Ausgangspunkt für eine Kaufentscheidung, nicht die Entscheidung selbst.