Gemini 4 Carbon führt den neuen KI-Index mit einem Punkt Vorsprung an, während Aufgaben-Benchmarks größere Lücken zeigen

Ein Punkt Vorsprung an der Spitze

Das Modell landete zwei Punkte vor GPT-6 Astra von OpenAI und belegte in vier der neun Bewertungen des Index Platz eins.

Ein Punkt Vorsprung entscheidet über die Spitze des Index, nicht über die Arbeit, die Käufer erledigt haben wollen. Ob dieser Vorsprung mit einem anderen Testaufbau hält, ist nicht öffentlich.

Gemini 4 Carbon kostete im Index $7.76 pro Aufgabe. Claude Fable 5.1 kostete $12.99. Gemini lag damit mehrere Dollar unter Claude Opus 5.5 und Sonnet 5.5. Google veröffentlichte das Modell in der vergangenen Woche. Über das Fairwind-Programm erhielten Cyber-Verteidiger zuerst Zugang. Eine breitere Verfügbarkeit soll später folgen. Tom's Hardware bezeichnete es zudem als das Frontier-Modell, das am wenigsten zu Halluzinationen neigt, gestützt auf Benchmark-Angaben.

Der Halluzinationswert braucht seine Skala. Gemini 4 Carbon erreichte 54 bei AA-Omniscience v1.1, das von -100 bis +100 reicht. Das beste Ergebnis aller Zeiten ist noch weit von einer weißen Weste entfernt.

Was der Index belohnt

Artificial Analysis baut v5 aus vier Blöcken mit gleichem Gewicht: Wissensarbeit, Coding, Wissenschaft und Allgemeines, jeweils 25%. Der Coding-Block besteht zu 15% aus FrontierCode 2.0 und zu 10% aus Terminal-Bench 4.0. Der Allgemein-Block besteht zu 15% aus AA-Omniscience v1.1, aufgeteilt in Genauigkeit und Nicht-Halluzination, plus 10% HLE-Diamond.

Interconnects nannte den AA-Index die prominenteste unabhängige Intelligenz-Metrik, mit dem Capabilities Index von Epoch AI als weit abgeschlagenem Zweiten. Alle derartigen Indizes seien zudem "massiv fehlerhaft".

Dieselbe Analyse fand Anzeichen von Belastung in der Rangfolge von v5. GPT 6.1 Terra landete etwa vor Claude Fable 5.1. Sie merkte an, dass Coding der am besten belegte Anwendungsfall sei, in dem offene Modelle deutlich wettbewerbsfähiger sind. Bei Wissensarbeit war sie weniger zuversichtlich, was offene Modelle angeht.

Dieselbe Analyse argumentierte, die Ära einzelner Intelligenz-Indizes sollte auslaufen. Sie erwartete, dass das lange dauern wird.

Aufgabenspezifische Tests finden größere Lücken

Benchmarks, die um eine einzige Tätigkeit herum gebaut sind, erzählen eine härtere Geschichte. CloudOpsBench, das Modelle an Cloud-Infrastrukturarbeit misst, setzte Claude Fable 5.1 (max) mit dem Harness claude-code auf Platz eins, mit einer Lösungsrate von 60,6%. GPT-6 Astra (max) folgte mit 58,9%, Gemini 4 Argon (high) mit 57,5%.

Auf dieser Tabelle stehen achtzehn Modelle. Die Spanne reicht bis 19,1% hinunter. Dasselbe Modell landet je nach umhüllendem Werkzeug auf unterschiedlichen Rängen. Der beste Lauf verbrauchte 97.900.000 Token in 38,6 Stunden.

Der GDPx-Benchmark von SemiAnalysis zielte auf wirtschaftlich verwertbare Arbeit. Er ergab für das führende Modell nur 12%. FrontierMat ist ein Satz von 330 Problemen aus Luft- und Raumfahrt, Halbleitern, verkörperter Intelligenz und Fusionsforschung. Er setzte das stärkste Allzweckmodell auf 53,7%. Bei einander zugeordneten Problemen schnitten Fragen über verschiedene Skalen hinweg 8,7 Punkte schlechter ab als solche innerhalb einer Skala. Höchstens ein Modell löste die Hälfte der 330 Probleme. Ein Experiment zur Domänenanpassung in derselben Arbeit hob ein Modell mit offenen Gewichten von 36,7% auf 55,4%. Damit erreichte es das stärkste proprietäre Modell.

Schlussfolgern heißt nicht Zuverlässigkeit

Die Lücke zwischen Leistungsfähigkeit und Verlässlichkeit zeigt sich auch in der klinischen Arbeit. Eine Studie in Nature Communications verglich sechs einander zugeordnete Paare aus Reasoning-Modellen und Standardmodellen. Sie umfasste 12 medizinische Fachgebiete und nutzte einen Benchmark aus echten elektronischen Patientenakten.

Die Reasoning-Modelle erzeugten über 34% mehr falsch positive Diagnosen als ihre Standard-Gegenstücke. Sie zeigten zudem rund 40% geringere Reproduzierbarkeit, wiederholte Läufe stimmten also häufiger nicht überein. Dafür stellten sie genauere Erstdiagnosen und lieferten klinisch nützlichere Differenzialdiagnosen.

Die Lösung, die die Autoren testeten, war Aufsicht, nicht ein größeres Modell. In einer Validierung mit 15 Ärzten erhöhte die Kombination aus Reasoning-Ausgabe und klinischer Prüfung die diagnostische Genauigkeit um 20%. Sie senkte die falsch positiven Befunde um 44% im Vergleich zu den Modellen, die allein arbeiteten. Die Autoren schränkten ein, dass die Ergebnisse aus retrospektiven Akten stammten und nicht aus laufenden klinischen Begegnungen.

Offene Gewichte erhöhen den Druck, und Angaben brauchen Prüfung

Geschlossene Frontier-Modelle sind nicht der einzige bewegliche Teil. Mistral veröffentlichte am 29. Oktober die Gewichte für Mistral Large 4. Es ist ein multimodales Modell, das Mistral auf europäischer Infrastruktur trainierte. Mistral meldet 41% bei Terminal-Bench 4.0, 13 Prozentpunkte über der Vorschauversion des Modells. Zudem sank die Zahl der Ausgabe-Token um 30%.

Das Unternehmen gibt außerdem an, Large 4 habe mit 48% zu GLM-5.3 im Artificial Analysis Coding Agent Index aufgeschlossen. Es habe dabei 47% weniger Token pro Aufgabe verbraucht. Das sind Angaben des Herstellers.

Die Lizenz zählt hier. Mistrals Lizenz für offene Gewichte erlaubt freie Nutzung und Veränderung, aber ein Unternehmen, das das Modell als Dienst weiterverkauft, braucht eine separate kommerzielle Lizenz.

Meituan veröffentlichte am Montag LongCat-2.5. Es ist ein Modell mit 1.600.000.000.000 Parametern, von denen pro Token etwa 48.000.000.000 aktiv sind. Meituan trainierte es auf rund 50.000 im Inland produzierten chinesischen Beschleunigern. Die Benchmark-Angaben warten auf unabhängige Tests.

Google hat kein Datum für einen breiteren Zugang zu Gemini 4 Carbon über das Fairwind-Programm hinaus genannt.