Gemini 4 Carbon devance le benchmark IA d'un point, une étude de Stanford montre que les affirmations sur les LLM expirent

Un point d'avance sur l'indice d'intelligence

L'écart en tête est d'un point. Gemini 4 Carbon obtient 59 sur l'Intelligence Index V5, un point devant Claude Opus 5.5 et deux devant GPT-6 Astra d'OpenAI.

Les acheteurs qui choisissent un modèle sur un classement doivent donc interpréter un écart d'un point. Cette avance ne durera pas. Google n'a pas indiqué quand un accès plus large à Gemini 4 Carbon serait ouvert.

Tom's Hardware rapporte que le modèle arrive premier dans quatre des neuf évaluations de la suite. Son coût par tâche sur le test Intelligence Index atteint 7,76 dollars. The Hacker News rapporte que Gemini 4 Carbon domine les benchmarks de recherche, d'exploitation et de correction de vulnérabilités. Ars Technica rapporte que Google a annoncé le modèle avec un déploiement progressif qui pourrait prendre du temps.

Google indique que Carbon a gagné 89 points sur WebDev Arena. Il y occupe désormais la quatrième place.

Pourquoi cette avance est fragile

Les benchmarks vieillissent. Owen Queen et James Zou, tous deux à Stanford, ont testé 50 affirmations largement citées sur les grands modèles de langage face à 20 modèles.

Ils ont constaté que 44 % de ces affirmations avaient déjà expiré. Parmi les 22 résultats dotés d'une date d'expiration estimée, la durée de vie moyenne atteignait 15,7 mois. Au bout d'un an, 16 % avaient expiré. Au bout de deux ans, la proportion montait à 39 %. Huit développeurs ont publié les modèles entre juillet 2024 et septembre 2026. Les affirmations sur ce que les modèles ne savent pas faire sont celles qui ont le plus mal résisté. Cinq des neuf résultats liés au raisonnement ont été classés comme expirés. Aucun ne s'est maintenu ni renforcé.

Les résultats varient aussi à l'intérieur d'une même fenêtre de publication. Parmi les modèles sortis entre juillet et septembre 2026, le nombre de résultats expirés va de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol.

Le test des citations fabriquées est le cas le plus net. GPT-3.5 inventait 55 % de ses références dans une étude de Walters et Wilder de 2023. Sur les mêmes invites, GPT-6.1 Sol en fabrique 0 % et Claude Sonnet 5.5 arrive à 1 %. Qwen3.7-Flash en fabrique encore 69 %.

Queen et Zou tirent une conclusion étroite. Les résultats sur les LLM doivent être présentés comme des observations portant sur des modèles précis à un moment précis, et non comme des vérités générales.

Les benchmarks ne tranchent ni la programmation ni le travail de connaissance

Un point d'avance sur un indice composite n'est pas une avance sur toutes les tâches.

Ars Technica rapporte que Gemini 4 Carbon bat GPT-6 Astra, Claude Opus 5.5 et Claude Fable 5.1 dans presque tous les tests de Google, mais seulement de quelques points. Artificial Analysis indique que le modèle n'égale pas Claude Code avec Claude Opus 5.5 en programmation. Il reste aussi derrière Grok 4.7, Muse Wonder et Kimi K3.1 Pro sur le travail de connaissance. Sur AA-Omniscience, qui mesure les connaissances et les hallucinations, Gemini 4 Carbon obtient 54. C'est le meilleur résultat de la comparaison. Il reste loin d'un rappel cohérent sur une échelle allant de -100 à +100.

Le prix constitue l'autre moitié de la comparaison. À 7,76 dollars par tâche, Gemini 4 Carbon passe sous Claude Opus 5.5 et Sonnet 5.5, tous deux en version max avec fallback.

Il coûte environ six fois plus que GPT-6.1 Sol (max). Il coûte environ 13 fois plus que DeepSeek V4.1 Flash 1017 en poids ouverts, qui obtient 32 sur l'Intelligence Index. Claude Fable 5.1 se situe à 12,99 dollars par tâche. À des prix plus bas, les modèles chinois à poids ouverts comme GLM 5.3-Flash et DeepSeek V4 Pro occupent la frontière de Pareto, selon les chiffres d'Arena.ai cités par Tom's Hardware.

Accès, promesses de sécurité et zones d'ombre

L'accès reste limité. Google propose d'abord Gemini 4 Carbon aux défenseurs cyber via son Fairwind Program. Une disponibilité plus large viendra ensuite.

Les promesses de sécurité sont la partie la plus sonore du discours. Google affirme que le modèle a deux fois plus de chances de produire du code sans vulnérabilités qu'Argon. L'équipe Chrome assure qu'il est 10 fois meilleur que les modèles non-Google pour générer des correctifs de qualité. Ars Technica rapporte que Google revendique un « saut significatif » dans la détection, la validation et la correction des vulnérabilités. Google a aussi mis en avant sa collaboration avec le gouvernement américain sur le filtrage des modèles et les tests avant publication.

Pour l'instant, le classement a un nouveau nom en tête, pour un seul point.