Gemini 4 Carbon führt neuen Halluzinationsindex an, doch der beste Wert liegt bei nur 54

Googles Gemini 4 Carbon liegt an der Spitze des Benchmarks AA-Omniscience v1.1, der Halluzinationen und Wissensabruf misst, wie Tom's Hardware am 3. November berichtete. Im Intelligence Index V5 von Artificial Analysis erreicht das Modell 59 Punkte. Damit liegt es einen Punkt vor Claude Opus 5.5 (max with fallback) und zwei Punkte vor GPT-6 Astra (max) von OpenAI.

Dann kommt der Vorbehalt. Selbst das beste Modell erreichte auf der Omniscience-Skala nur 54. Diese Zahl sollte man im Blick behalten.

Der Abstand beim Intelligence Index ist klein, der beim Preis nicht. Laut demselben Artikel von Tom's Hardware kostet Gemini 4 Carbon 7,76 Dollar pro Aufgabe im Intelligence Index. Das ist etwas günstiger als Gemini 3.8 Flash (high) und mehrere Dollar weniger als Claude Opus 5.5 oder Sonnet 5.5 mit max und Fallback. Claude Fable 5.1 kostet 12,99 Dollar pro Aufgabe. GPT 6.1 Sol (max) von OpenAI ist pro Aufgabe rund sechsmal günstiger als Gemini 4 Carbon. Das offene Modell DeepSeek V4.1 Flash 1017 ist etwa 13-mal günstiger, erreicht im selben Index aber nur 32. Der Zugang ist gestaffelt: Google gibt das Modell zuerst über sein Programm Fairwind an Cyber-Verteidiger, später wird es breiter verfügbar.

Diese Sicherheitsargumentation hat eigene Belege. The Hacker News berichtete am 29. Oktober, dass Gemini 4 Carbon Benchmarks zum Finden, Ausnutzen und Schließen von Schwachstellen anführt.

Die Benchmarks werden schwerer, und die Modelle scheitern weiterhin

Das Omniscience-Ergebnis fällt in eine Welle neuer Evaluierungen. Diese prüfen bewusst Probleme, für die es keine Lehrbuchantwort gibt. FrontierMat, am 30. Oktober auf arXiv veröffentlicht, umfasst 330 Aufgaben aus der akademischen und industriellen Materialforschung in Luft- und Raumfahrt, Halbleitern, embodied intelligence und Kernfusion. Experimentalphysiker und Branchenexperten haben jede einzelne geprüft. Das stärkste Allzweckmodell erreicht 53,7 Prozent. Höchstens ein Modell löst die Hälfte der Aufgaben.

Die Autoren benennen die Fehlerart genau: Modelle bestätigen, was plausibel klingt, nicht was beobachtet wurde. Bei den 130 Aufgaben, die Denken über mehrere Skalen hinweg verlangen, liegen die Ergebnisse 8,7 Punkte unter denen mit einer einzigen Skala. Ein Verfahren zur Domänenanpassung nutzt metagewichtetes fortgesetztes Pretraining und skalenmodulare Selbst-Destillation. Es hebt ein offenes Modell von 36,7 auf 55,4 Prozent und erreicht damit das stärkste proprietäre Modell, ohne dass die Werte auf allgemeinen Benchmarks sinken.

Andere Arbeiten deuten in dieselbe Richtung. SafeWebWorld, am 29. Oktober eingereicht, ergab, dass Menschen 86,1 Prozent von 3.000 Vorhersagen aus zehn eingefrorenen offenen Modellen semantisch plausibel fanden. Diese Plausibilität führte jedoch nicht zu korrekten Sicherheitsentscheidungen. CLR-Bench, am selben Tag veröffentlicht, prüfte, ob selbstlernende Agenten verborgene Regeln lernen. Der beste Zugewinn gegenüber einem eingefrorenen Agenten lag bei höchstens 5 Punkten, während eine feste Lektion, die die Konvention nennt, dieselben Methoden um 14,5 bis 16,5 Punkte hob.

BULLPEN, ebenfalls auf arXiv, argumentiert, dass Korrektheit allein Verhalten, Stil und Herkunft nicht erfasst. Die Arbeit erstellt Profile von 260 offenen Modellen anhand von Antworttexten aus 400 Fragen, also 1,3 Prozent des vollständigen Pools von 24.118 Fragen.

Worum es beim Streit um die Benchmarks wirklich geht

Die Ranglisten ändern sich wöchentlich. Nathan Lamberts Newsletter Interconnects untersuchte das Dilemma der Benchmark-Anbieter in einem Beitrag vom 28. Oktober zu Artificial Analysis v5. Am 30. Oktober überdachte er seine eigene Haltung zu offenen Modellen und Cyber-Risiken.

Der Kostendruck treibt Käufer ohnehin zu kleineren offenen Modellen. The Register berichtete am 3. November, dass die Gartner-Analysten Mark Petty und Raymond Paquet erwarten, offene Modelle würden bis 2030 90 Prozent der Schritte in unternehmerischen Agenten-Workflows übernehmen. Sie rechnen mit etwa einem Viertel des Preises des günstigsten geschlossenen Modells und mit nur einem Zwanzigstel eines Frontier-Modells pro Schritt. Die Analysten räumen ein, dass die tatsächliche Ersparnis eher bei fünf- oder sechsmal liegt, weil offene Modelle ausführlicher antworten und häufiger erneut versuchen können.

Auch das Halluzinationsrisiko verteilt sich nicht gleichmäßig über die Sprachen. SHAKTI und TRIDENT, am 30. Oktober eingereicht, bauen einen Hindi-Benchmark zur Erkennung von KI-Texten über acht LLM-Familien. Sie argumentieren, die Forschung zur Erkennung bleibe englischzentriert.

Das Muster dahinter: bessere Werte, dünnere Vorsprünge und Fehlerarten, die Plausibilitätswerte nicht erfassen.