KI-Reasoning zu benchmarken wird schwieriger, und die Zahlen werden seltsamer
Ein Forscher ließ 27.489 neu veröffentlichte CVEs durch ein lokales Entscheidungsmodell laufen. 16,9 Prozent davon nennen nie eine Sicherheitsauswirkung. Das Ergebnis sagt ebenso viel darüber, wie KI-Systeme Text bewerten, wie über die Fehlerberichte selbst.

Das Experiment ist klein und persönlich. Jerry Gamblin arbeitet in den Arbeitsgruppen Quality, Automation und Consumer des CVE-Programms mit. Er ließ die Clef-Modelle von Cloudflare auf einem Laptop gegen jede CVE laufen, die zwischen dem 4. August und dem 3. Oktober 2026 veröffentlicht wurde. Die Ergebnisse publizierte er am 4. Oktober.
Der wichtigste Befund: Außerhalb des Linux-Kernels sagen 989 von 23.736 Beschreibungen, also 4,2 Prozent, nie, was ein Angreifer anrichten könnte. Zählt man den Kernel mit, dessen Richtlinie die Auswirkung dem Nutzer überlässt, steigt die Zahl auf 4.650 von 27.489, also 16,9 Prozent.
Warum das zählt: So sieht automatisierte Bewertung aus, wenn sie das Labor verlässt. Ein Modell mit 9.000.000.000 Parametern beantwortete zwei vorgegebene Fragen zu jedem Datensatz in unter einer Sekunde. Laut Gamblins Bericht brauchte es keinen API-Schlüssel und keine Rechnung. Jeder kann heute zu Hause ein Korpus bewerten. Unbekannt ist, ob diese Werte außerhalb des Aufbaus eines einzelnen Forschers standhalten. Niemand hat die Pipeline auf einem zweiten Rechner oder mit einem zweiten Korpus getestet.
Gamblin ist da vorsichtig. Er prüfte die zweistufige Pipeline gegen 129 CVEs, die er von Hand gekennzeichnet hatte. Sie erkannte 15 der 16 Fälle, die er als ohne Auswirkung eingestuft hatte. Keinen seiner positiven Einträge meldete sie als negativ. Clef 27B, ein Modell mit 27.000.000.000 Parametern, las alles nach, was Clef Flash als ohne Auswirkung markiert hatte, und kippte 1.198 von 2.187 Fällen, also 54,8 Prozent. Flash allein, schreibt er, sei zu streng.
Warum alle einen Benchmark bauen
In derselben Woche veröffentlichte OpenAI einen Bericht über einen koordinierten Versuch, geschütztes Reasoning aus seinen Modellen zu extrahieren. Die Aktivität begann laut dem Unternehmen am 1. Juli. Sie erreichte am 24. und 25. Juli mit 16.000 Anfragen nach einem Extraktionsmuster von mehr als 4.000 Nutzern ihren Höhepunkt. Bis zum 28. Juli habe man einen zugehörigen Cluster von mehr als 15.000 Nutzern unterbrochen, so OpenAI. Einen Kerncluster ordnet das Unternehmen Personen zu, die mit Moonshot AI in Verbindung stehen, dem Entwickler von Kimi.
Das ist ein Sicherheitsvorfall, kein Benchmark. Er zeigt aber denselben Druck. Sobald die Fähigkeit eines Modells gemessen wird, wird sie zum Ziel. Die Messung selbst wird zur Angriffsfläche.
OpenAI zufolge haben die Betreiber keine Verschlüsselung gebrochen und keine gespeicherten Gespräche erreicht. Sie manipulierten Modellinteraktionen so, dass verborgenes Reasoning in sichtbarer Form reproduziert werden konnte.
Benchmarks sind die öffentliche Seite dieser Fähigkeit geworden. Wie viel neue Evaluierungsarbeit in den vergangenen Tagen erschienen ist, fällt auf. Google eröffnete am 3. November einen Engineering-Benchmark mit 85 Aufgaben und einen Agentenwettbewerb, so die an diesem Tag kursierende Schlagzeilenliste. OpenAI stellte am selben Tag einen LifeVal-Benchmark für Alltagsaufgaben vor. Artificial Analysis überarbeitete seinen Index am 29. Oktober auf Version 5. Das Unternehmen meldete, agentische KI habe den Vorsprung proprietärer Modelle auf 12 Punkte vergrößert.
Jede dieser Meldungen ist eine Behauptung darüber, wie gut Maschinen denken. Keine von ihnen beantwortet die Frage. Ein Benchmark ist eine Stichprobe. Ausgewählt wird die Stichprobe von dem Unternehmen, das gemessen wird, oder von einem Konkurrenten.
Die Zahlen, die zitiert werden
Nehmen wir die Reasoning-Werte, die die Berichterstattung beherrscht haben. Startup Fortune meldete am 4. Oktober, OpenAIs GPT-6 Astra habe 62,7 Prozent bei dem erreicht, was das Blatt den härtesten Reasoning-Test der KI nennt. Derselbe Bericht besagt, der ARC-AGI-3-Wert habe den bisherigen Bestwert um mehr als das Doppelte übertroffen. NewsBytes meldete am 3. Oktober, Googles Gemini 3.1 Pro habe 77,1 Prozent bei ARC-AGI-2 erreicht. Das sind verschiedene Tests mit verschiedenen Obergrenzen, und die Schlagzeilen sagen das selten.
Dann sind da Preis und Coding. Startup Fortune meldete am 3. Oktober, Claude Opus 5.5 schlage OpenAIs Astra bei Coding-Benchmarks und beim Preis. SitePoint veröffentlichte am selben Tag eine Erklärung dazu, was der FrontierCode-Wert von Claude Opus 5 bei mittlerem Aufwand bedeutet.
Setzt man beides nebeneinander, ergibt sich ein vertrautes Problem. Ein Modell, das auf weniger Rechenaufwand getrimmt ist, erzielt andere Werte als dasselbe Modell bei vollem Aufwand. Der Eintrag in der Rangliste trägt die Einstellung selten mit.
Die Überarbeitung des Index auf Version 5 durch Artificial Analysis räumt dasselbe ein. Ändert sich der Index, sind historische Werte nicht mehr vergleichbar. Das Unternehmen teilte mit, der Abstand zwischen proprietären und offenen agentischen Modellen sei unter der neuen Version auf 12 Punkte gewachsen. Das ist ein echter Befund über die neue Version. Es ist nicht zwingend ein Befund über die Modelle.
"Our results demonstrate that information theoretic approaches to collapse mitigation are efficient, and suggest new approaches for maintaining multi-agent diversity."
Diese Zeile stammt aus einem Paper, das am 1. Oktober bei arXiv eingereicht wurde, laut Eintrag von Lewis Mitchell, einem Einzelautor an der University of Bristol. Die Arbeit handelt vom Modellkollaps, nicht von Ranglisten, gehört aber in dasselbe Gespräch. Mitchell führte ein QLoRA-Fine-Tuning-Experiment über sechs Generationen mit Llama-3.1-8B durch. Er fand heraus, dass das Filtern von Trainingstext über eine Schätzung der Entropierate, berechnet aus Rohtext ohne jedes Modell, 42 Prozent mehr eindeutige Trigramme, 30 Prozent mehr Vokabular und 19 Prozent weniger Wiederholung ergab als ein ungefilterter Lauf. Die Baseline auf Logprob-Basis, die etablierte Methode, zeigte bei keiner Kennzahl einen signifikanten Vorteil.
Die Lehre für Benchmark-Beobachter ist unangenehm. Eine Kennzahl kann streng wirken und trotzdem das Falsche messen. Mitchells Filter brauchte kein Modell, um zu bewerten. Genau deshalb ließ er sich billig und wiederholt testen. Die meisten Reasoning-Benchmarks können das nicht von sich behaupten.
Lokale Modelle als Bewerter
Gamblins Aufbau ist das klarste Beispiel für diesen Wandel. Ollama 0.35.1 ergänzte einen Decision-Endpunkt, der Zustand und eine Reihe vorgegebener Fragen entgegennimmt. Er liefert Auswahlmöglichkeiten, Wahrscheinlichkeiten und Werte, ohne Text zum Parsen. Clef ist ein Modell mit 27.000.000.000 Parametern, feinabgestimmt aus Qwen 3.8. Clef Flash ist ein Modell mit 9.000.000.000 Parametern, feinabgestimmt aus Qwen 3.5. Beide stehen unter Apache 2.0, die Gewichte liegen auf Hugging Face, und beide laufen lokal aus der Ollama-Bibliothek.
Der Flash-Download umfasst etwa 10 GB.
Das ändert, wer was bewerten kann. Ein Sicherheitsteam kann Tausende Datensätze über Nacht auf einem Laptop bewerten. Ein einzelner Forscher kann den Lauf nachvollziehen. Der Haken ist die Kalibrierung. Gamblin brauchte das größere Modell, um das kleinere zu überprüfen, und selbst dann validierte er gegen einen von Hand gekennzeichneten Satz von 129 Fällen. Bei dieser Größe verschieben schon wenige Fehlmarkierungen den Prozentwert.
Er nennt die Grenzen offen. Die 4,2 Prozent schließen den Kernel aus. Die 16,9 Prozent schließen ihn ein, und die Richtlinie des Kernels ist der Grund, warum seine Einträge nichts zur Auswirkung sagen. Keine der beiden Zahlen ist ein Urteil über das CVE-Programm. Beide messen, wie einheitlich Autoren ein einzelnes Feld ausfüllen.
Was die Werte auslassen
Verbraucherprodukte im KI-Bereich machen denselben Tausch. Google schränkt den Zugang zu Gemini-Modellen für Privatkonten ab dem 9. Oktober ein, laut einem aktualisierten Support-Dokument, über das 9to5Google am 3. Oktober berichtete. Kostenlose Nutzer erhalten nur noch Flash-Lite. Abonnenten von AI Plus für 4,99 Dollar im Monat verlieren Pro und behalten Flash-Lite und Flash. AI Pro für 19,99 Dollar und AI Ultra für 99,99 oder 199,99 Dollar behalten alle drei. THE DECODER berichtete am 4. Oktober über dieselbe Staffelung. Dort hieß es, AI-Pro-Kunden erhielten zusätzlich die Deep-Think-Option.
Liest man das gegen die Benchmark-Schlagzeilen, zeigt sich ein Muster. Die Modelle, die bewertet werden, stehen zunehmend hinter einer Bezahlschranke. Wer Gemini, ChatGPT und Claude auf einer öffentlichen Rangliste vergleicht, berührt womöglich nie die Konfiguration, die den Wert erzeugt hat.
Die Ankündigungen von OpenAIs Dev Day, über die TechCrunch am 29. September berichtete, gehen in dieselbe Richtung noch weiter. ChatGPT, das laut dem Unternehmen 1.200.000.000 Nutzer pro Woche hat, soll Apps innerhalb des Gesprächs vorschlagen. 16 Startpartner haben sich für Sign in with ChatGPT angemeldet.
Nichts davon macht Benchmarks nutzlos. Es macht sie unvollständig. Die meistzitierten Zahlen der Woche, 62,7 Prozent bei einem Reasoning-Test und 77,1 Prozent bei einem anderen, beschreiben bestimmte Läufe unter bestimmten Einstellungen. Die CVE-Zahl von 16,9 Prozent beschreibt den Laptop eines Forschers, ein Wochenende und ein Paar offener Modelle. Alle drei sind ehrlich, wenn man die Methode liest. Alle drei führen in die Irre, wenn man nur die Zahl liest.
Was fehlt, ist ein gemeinsamer Standard dafür, die Einstellung neben dem Wert zu berichten. Weder Google noch OpenAI haben erklärt, sie würden Aufwandsstufen und Tarifzugang neben Benchmark-Ergebnissen veröffentlichen. Bis das jemand tut, driften die Vergleiche weiter.
Quellen
8- 01Decision Models vs. CVE DataEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Disrupting a coordinated model-distillation campaignEN
- 05No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Anthropic asks Claude users to share voice data for AI model trainingEN
- 08Ideogram 4.5: The most precise edit modelEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.