Gemini 4 Carbon führt KI-Benchmark mit einem Punkt Vorsprung an, während Stanford zeigt: LLM-Aussagen verfallen

Ein Punkt Vorsprung im Intelligenzindex

Der Abstand an der Spitze beträgt einen Punkt. Gemini 4 Carbon erreichte 59 Punkte im Intelligence Index V5. Das ist einer mehr als bei Claude Opus 5.5 und zwei vor OpenAI's GPT-6 Astra.

Wer Modelle nach einer Rangliste auswählt, muss jetzt einen Abstand von einem Punkt deuten. Eine dauerhafte Führung ist das nicht. Google hat nicht gesagt, wann Gemini 4 Carbon breiter zugänglich wird.

Tom's Hardware berichtet, das Modell habe in vier der neun Tests der Suite den ersten Platz belegt. Die Kosten pro Aufgabe im Intelligence-Index-Test lagen bei $7.76. The Hacker News meldete, Gemini 4 Carbon führe die Benchmarks zum Finden, Ausnutzen und Schließen von Sicherheitslücken an. Ars Technica berichtete, Google habe das Modell mit einer gestaffelten Freigabe angekündigt, die eine Weile dauern könne.

Google zufolge legte Carbon um 89 Punkte auf der WebDev Arena zu. Dort steht es jetzt auf Platz vier.

Warum der Vorsprung fragil ist

Benchmarks veralten. Owen Queen und James Zou, beide in Stanford, prüften 50 viel zitierte Aussagen über große Sprachmodelle an 20 Modellen.

Sie fanden, dass 44% dieser Aussagen bereits verfallen waren. Bei den 22 Befunden mit geschätztem Verfallsdatum lag die durchschnittliche Lebensdauer bei 15.7 Monaten. Nach einem Jahr waren 16% verfallen. Nach zwei Jahren stieg die Zahl auf 39%. Acht Entwickler brachten die Modelle zwischen Juli 2024 und September 2026 heraus. Am schnellsten scheiterten Aussagen darüber, was Modelle nicht können. Fünf von neun Befunden zum Schlussfolgern galten als verfallen. Keiner hatte gehalten oder war stärker geworden.

Auch innerhalb eines einzigen Veröffentlichungsfensters schwanken die Ergebnisse. Unter den Modellen, die zwischen Juli und September 2026 erschienen, reichten die verfallenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol.

Der Test zu erfundenen Quellenangaben ist der klarste Fall. GPT-3.5 erfand 55% seiner Referenzen in einer Studie von Walters und Wilder aus dem Jahr 2023. Bei denselben Prompts erfand GPT-6.1 Sol 0% und Claude Sonnet 5.5 kam auf 1%. Qwen3.7-Flash erfand weiterhin 69%.

Queen und Zou ziehen eine enge Schlussfolgerung. Befunde über LLMs sollten als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt dargestellt werden, nicht als allgemeine Wahrheiten.

Benchmarks entscheiden weder Programmierung noch Wissensarbeit

Ein Punkt Vorsprung in einem zusammengesetzten Index ist kein Vorsprung bei jeder Aufgabe.

Ars Technica berichtete, Gemini 4 Carbon schlage GPT-6 Astra, Claude Opus 5.5 und Claude Fable 5.1 in fast jedem Google-Test, aber nur um wenige Punkte. Artificial Analysis zufolge ist das Modell beim Programmieren nicht so gut wie Claude Code mit Claude Opus 5.5. Auch hinter Grok 4.7, Muse Wonder und Kimi K3.1 Pro liegt es bei Wissensarbeit zurück. Bei AA-Omniscience, das Wissen und Halluzination erfasst, erreichte Gemini 4 Carbon 54 Punkte. Das ist das beste Ergebnis im Vergleich. Von durchgängig zuverlässiger Wiedergabe auf einer Skala von -100 bis +100 ist es dennoch weit entfernt.

Der Preis ist die andere Hälfte des Vergleichs. Mit $7.76 pro Aufgabe unterbietet Gemini 4 Carbon Claude Opus 5.5 und Sonnet 5.5, beide max mit Fallback.

Es kostet etwa sechsmal mehr als GPT-6.1 Sol (max). Es kostet etwa 13-mal mehr als das offene Modell DeepSeek V4.1 Flash 1017, das 32 Punkte im Intelligence Index erreicht. Claude Fable 5.1 liegt bei $12.99 pro Aufgabe. Bei niedrigeren Preisen übernehmen chinesische offene Modelle wie GLM 5.3-Flash und DeepSeek V4 Pro die Pareto-Grenze, laut Arena.ai-Zahlen, die Tom's Hardware zitiert.

Zugang, Sicherheitsversprechen und was noch offen ist

Der Zugang bleibt begrenzt. Google bietet Gemini 4 Carbon zuerst Cyber-Verteidigern über sein Fairwind-Programm an. Eine breitere Verfügbarkeit soll später folgen.

Die Sicherheitsversprechen sind der lauteste Teil der Ankündigung. Google zufolge erzeugt das Modell doppelt so wahrscheinlich Code ohne Sicherheitslücken wie Argon. Das Chrome-Team behauptet, es sei zehnmal besser darin, hochwertige Patches zu liefern als Nicht-Google-Modelle. Ars Technica berichtete, Google spreche von einem "significant leap" bei Erkennung, Validierung und Behebung von Sicherheitslücken. Google hob außerdem die Zusammenarbeit mit der US-Regierung bei Modellprüfung und Tests vor der Freigabe hervor.

Vorerst steht ein neuer Name mit einem einzigen Punkt Vorsprung an der Spitze der Rangliste.