Neue Benchmarks und Studien nehmen KI-Modelle ins Visier, die sicher klingen und danebenliegen

Am 5. Oktober stellte Reflection Beam vor, sein erstes Modell mit offenen Gewichten. Es ist ein sparse Mixture-of-Experts mit 501.000.000.000 Parametern insgesamt und 23.000.000.000 aktiven, vortrainiert auf 23.800.000.000.000 Tokens. Im Blog des Unternehmens heißt es, die Gewichte, der technische Bericht und die Modellkarte folgten "later this month". Außerdem durchlaufe Beam noch das abschließende Red-Teaming.

Reflections eigene Zahlen zeigen, wo das Modell steht. Auf SWE Bench Pro v2-Hard erreicht Beam 77,2 gegenüber 88,2 für Kimi K3. Auf Terminal Bench v2.1 kommt es auf 80,1, während K3 88,3 und DeepSeek V4.1 Flash 90,6 erreichen. Das Verkaufsargument ist nicht der erste Platz, sondern der Preis. Beam beansprucht Reasoning-Werte vergleichbar mit GLM-5.2 bei 3- bis 4-mal weniger Inferenz-Rechenleistung, so der Beitrag.

Warum eine sichere Antwort keine richtige ist

Das Bewertungsproblem unter diesen Tabellen hat eine Forschungsseite. Ein Team der UC Riverside unter Leitung des Doktoranden Het Patel untersuchte Metas Llama-3.1-8B und Googles Gemma-2-9B mit sparse Autoencodern. Es sortierte Multiple-Choice-Antworten in vier Gruppen, danach, ob sie richtig oder falsch waren und ob das Modell sicher oder unsicher war. Das Team fand Merkmale, die vor allem an Unsicherheit hängen, Merkmale, die vor allem an falsche Antworten hängen, und überlappende. Unterdrückte man die rein unsicherheitsgebundenen Merkmale, sank die Genauigkeit deutlich, heißt es in der Mitteilung der Universität.

"Die Hauptannahme im Feld ist, dass ein Modell, wenn es sicher ist, wahrscheinlich richtig liegt, und wenn es unsicher ist, eher falsch liegt", sagte Patel in der Mitteilung der UCR. "Aber wir sehen oft die gut dokumentierten Gegenbeispiele."

Die praktische Behauptung lautet, dass sich einige dieser internen Merkmale herunterdrehen lassen, ohne das ganze Modell neu zu trainieren. Patel verglich das mit dem Drehen an Knöpfen. Das ist wichtig, weil die übliche Reparatur für ein übermäßig selbstsicheres Modell ein weiterer Trainingslauf ist. Das übliche Maß für ein übermäßig selbstsicheres Modell ist ein Benchmark, der Antworten bewertet, nicht das Zweifelsgefühl des Modells selbst.

Benchmarks werden für den Zweifel gebaut

GitHub nutzte den 5. Oktober, um ReviewBench zu veröffentlichen, einen offenen Benchmark für KI-Codereview. Er beruht auf einer Analyse von 103.900.000 Pull Requests auf GitHub. Er enthält 219 Pull Requests aus 187 öffentlichen Open-Source-Repositories in 19 Sprachen. GitHub zufolge haben Senior-Engineers die goldenen True-Positives vor der Veröffentlichung unabhängig gekennzeichnet. Jeder Befund trage zudem ein Schweregrad- und ein Kategorie-Label, sodass Teams die Ergebnisse nach Präzisions- und Recall-Vorlieben filtern können.

Das unbequeme Eingeständnis in GitHubs Beitrag betrifft das eigene Produkt. Das Unternehmen schreibt, mit ReviewBench sei seine Offline-Bewertung von Copilot Code Review "has become more effective at anticipating the direction of production experiments". Anders gesagt: Das alte Offline-Signal hat nicht eng genug verfolgt, was in der Produktion geschah. Ein Benchmark, der die reale Welt vorhersagt, ist ein anderes Artefakt als einer, der Modelle auf einem Leaderboard sortiert.

Veris übertrug denselben Ansatz auf Sprachagenten. Sein VAmoS Pro Bench, veröffentlicht am 5. Oktober, ließ 14 Voice-Stacks über 2.694 simulierte Telefonate zur Rechnungsstellung laufen. Die Aufgabenabschlussrate reichte von 57,5% für den besten Stack bis 17,3% am unteren Ende. Keine einzelne Kennzahl hätte diese Spanne erfasst. Die Tabelle erfasste auch Barge-in-Raten und Kosten pro Anruf. Sie ergab, dass ein hinter dem Anrufer laufender Fernseher die gepoolte Aufgabenabschlussrate von 38,7% auf 8,6% drückte, während Straßenlärm gleicher Lautstärke nichts kostete.

Kleine Modelle, kleine Entscheidungen, messbare Ergebnisse

Nicht jede Evaluation braucht ein Labor. Ein GitHub-Projekt namens Jeff-Code, am 5. Oktober veröffentlicht, setzt ein Entscheidungsmodell mit 800.000.000 Parametern in die Agentenschleife von Pi, dem Coding-Agenten von Mario Zechner, neben Qwen 3.8-27B mit 27.000.000.000 Parametern. Jeff trifft um jeden Qwen-Zug herum zwei schnelle Entscheidungen, je etwa 0,2 Sekunden. Die eine fragt, ob es den nächsten Informationsschritt selbst gehen kann. Die andere fragt, ob Qwen hart nachdenken muss.

Die gepaarten Ergebnisse über 1.242 Aufgaben ergeben eine Pass-Rate von 62,4% gegenüber 62,8% für Qwen allein. Die Autoren geben die Differenz mit minus 0,2 Punkten an, bei einem 95%-Intervall von minus 2,6 bis plus 2,1. Die Zeit pro Aufgabe sank auf das 0,68-Fache der Baseline, der Median lag bei 0,70. Das Denken in jedem Zug abzuschalten war noch schneller, kostete aber 7,6 Punkte. Eine weniger vorsichtige Schwelle von 0,7 kostete 4,5 Punkte. Das Repository merkt zudem an, dass das Setup bei etwa 5% der Aufgaben mehr als 30 Minuten länger lief als Qwen allein.

Dieses letzte Detail ist die Art von Sache, die aggregierte Beschleunigungen verbergen. Dasselbe gilt für das Argument zum Benchmark-Design, das Matklad am 5. Oktober vorbrachte. Wähle eine Eingabegröße, bei der ein Mikro-Benchmark etwa 300ms läuft. Alles unter 10ms laufe Gefahr, durch Fixkosten wie den Start des Interpreters verzerrt zu werden, und alles über einer Sekunde mache wiederholte Läufe langsam. Seine ausdrückliche Prämisse ist, dass Benchmarking dem Autor genug Intuition geben soll, um eine richtige Entscheidung zu treffen, nicht um eine präzise Messung zu liefern.

Eine Welle von Entscheidungsmodellen, jedes mit eigener Anzeigetafel

Liquid AI nutzte den 5. Oktober, um d1 zu starten, ein Entscheidungsmodell, das Wahrscheinlichkeiten zurückgibt, statt Tokens zu erzeugen. Es akzeptiert jetzt auch Bilder neben Text. Das Unternehmen gibt an, d1 gegen GPT-6.1 Sol und Claude Opus 5.5 in sechs Anwendungen getestet zu haben. Bei vier erreichte es GPT-6.1 Sol oder übertraf es, bei 19- bis 200-mal geringeren Kosten. Auf einem öffentlichen Datensatz zur industriellen Inspektion sortiert es gute und defekte Teile mit 85% bis 97% Genauigkeit, so der Blog, ohne für diese Aufgabe trainiert worden zu sein.

Interfaze veröffentlichte am selben Tag eine andere Systemform: Interfaze 1.1 Lite. Es mischt einen Reasoning-Kern mit Spezialmodellen für Dokumente, Sprache, Segmentierung und Prognose und läuft auf einer einzigen 80GB-GPU. Die veröffentlichte Tabelle setzt es auf 85,9 bei GPQA Diamond gegenüber 92,4 für Interfaze und 89,9 für Claude-Sonnet-4.6. Bei olmOCR-Bench setzt sie es auf 83,8 gegenüber 85,7 für das größere Interfaze-Modell. Das sind vom Anbieter gemeldete Zahlen aus vom Anbieter gewählten Benchmarks, also genau die Messlücke, die die Code-Review- und Voice-Benchmarks schließen wollen.

Das Gegengewicht sind Kosten und Geschwindigkeit. Ein Modell, das in 200 bis 300 Millisekunden mit einer Wahrscheinlichkeit antwortet, lässt sich billig prüfen oder verwerfen. Ein Modell, das einen Absatz selbstsicherer Prosa erzeugt, nicht. Sean Goedecke argumentierte am 5. Oktober, Entscheidungsmodelle wie Jev ließen sich leicht in handgebaute Klassifikatoren destillieren, sobald ein Anwendungsfall validiert sei. Der Prompt und seine Ausgaben liefern kostenlos gelabelte Daten. Der Trainer wird zum Trainierten.

Wie die Evidenz außerhalb der KI aussieht

Zum Vergleich: So sieht eine große, gut verankerte Studie aus. PsyPost berichtete am 4. Oktober über eine Studie mit mehr als 2.500.000 Kindern, veröffentlicht im The Pediatric Infectious Disease Journal. Sie fand keinen Zusammenhang zwischen MMR-Impfung vor dem zweiten Lebensjahr und Autismus. Der leitende Forscher Todd Burstain von UW Medicine sagte PsyPost, frühere europäische Studien hätten Daten von 2000 bis 2012 herangezogen, als die Autismus-Prävalenz etwa ein Drittel des heutigen US-Niveaus betrug. Er sagte, eine altersverankerte Landmark-Analyse vermeide Immortal-Time-Bias.

Das ist der Standard, an dem KI-Benchmarks gemessen werden, und die meisten sind weit davon entfernt. Anbietertabellen sind selbst gemeldet, oft auf Benchmarks, die der Anbieter ausgewählt hat, teils mit Zeilen, die für Wettbewerber als "not reported" markiert sind. Reflections Beam-Beitrag ist darin ungewöhnlich offen und listet fehlende Werte der Rivalen neben den eigenen, aber die fehlenden Einträge fehlen weiterhin. GitHubs ReviewBench, Veris' Voice-Board und die gepaarten Jeff-Code-Läufe bewegen sich alle in dieselbe Richtung: den Prüfaufbau, die Verteilung und das Intervall veröffentlichen, nicht nur die Schlagzeile.

Andere Veröffentlichungen vom 5. Oktober passen zum Muster kleiner, messbarer Werkzeuge statt großer Behauptungen. Reika, eine Coding-Agent-CLI rund um lokale Modelle von 8.000.000.000 bis 35.000.000.000 Parametern, veröffentlicht eigene Befunde. Ein Rewrite mitten im Kontext verarbeitete 8.453 Tokens Prompt neu und kostete 7,9 Minuten Prefill. Ein Anhängen in derselben Sitzung kostete 25 Tokens und 3,5 Sekunden. Precogly lieferte Version 0.4.0 einer Open-Source-Plattform für Threat Modelling aus und trat OWASP bei. NASA und IBM veröffentlichten Fine-Tuning-Code für ein lunares Foundation-Modell, das Kratererkennung und Eisprospektion abdeckt.

Nichts davon klärt, ob ein Modell weiß, was es nicht weiß. Die Arbeit der UCR legt nahe, dass das interne Signal existiert und sich anpassen lässt. Die neuen Benchmarks legen nahe, dass das externe Signal zu grob war, um es zu bemerken. Beides sagt dasselbe. Eine Antwort und eine Versicherung sind zwei verschiedene Ausgaben, und nur eine davon ist bisher ordentlich gemessen worden.