Gemini 4 Carbon mène un nouvel index d'IA d'un point, mais les tests par tâche révèlent des écarts plus larges

Un point d'avance en tête

Il termine deux points devant GPT-6 Astra d'OpenAI et se classe premier dans quatre des neuf évaluations de l'index.

Un point d'avance décide du sommet de l'index, pas du travail dont les acheteurs ont besoin. On ne sait pas publiquement si cette avance tient avec un autre harnais.

Gemini 4 Carbon coûte 7,76 dollars par tâche sur l'index. Claude Fable 5.1 coûte 12,99 dollars. Gemini revient à plusieurs dollars de moins que Claude Opus 5.5 ou Sonnet 5.5. Google a publié le modèle la semaine dernière. Il en a réservé l'accès en premier aux défenseurs du cyberespace via son programme Fairwind. Une disponibilité plus large viendra plus tard. Tom's Hardware le décrit aussi comme le modèle de frontière le moins susceptible d'halluciner, d'après les chiffres des benchmarks.

Le score d'hallucination demande son échelle. Gemini 4 Carbon obtient 54 sur AA-Omniscience v1.1, qui va de -100 à +100. Le meilleur résultat enregistré reste loin d'une copie blanche.

Ce que l'index récompense

Artificial Analysis construit la v5 sur quatre blocs de poids égal : travail de connaissance, code, science et général, chacun à 25%. Le bloc code vaut 15% FrontierCode 2.0 et 10% Terminal-Bench 4.0. Le bloc général vaut 15% AA-Omniscience v1.1, scindé entre précision et non-hallucination, plus 10% HLE-Diamond.

Interconnects qualifie l'index AA de métrique indépendante d'intelligence la plus en vue, le Capabilities Index d'Epoch AI arrivant loin derrière. Il qualifie aussi tous ces indices de « massivement défectueux ».

La même analyse relève des signes de tension dans l'ordre de la v5. GPT 6.1 Terra finit au-dessus de Claude Fable 5.1, par exemple. Elle note que le code est le cas d'usage le plus éprouvé, là où les modèles ouverts sont bien plus compétitifs. Elle se montre moins confiante sur les modèles ouverts en travail de connaissance.

La même analyse soutient qu'il faudrait abandonner progressivement l'ère des indices d'intelligence unique. Elle s'attend à ce que cela prenne longtemps.

Les tests par tâche trouvent des écarts plus grands

Les benchmarks centrés sur un seul métier racontent une histoire plus dure. CloudOpsBench, qui teste les modèles sur le travail d'infrastructure cloud, place Claude Fable 5.1 (max) avec le harnais claude-code en tête à 60,6% de taux de résolution. GPT-6 Astra (max) suit à 58,9% et Gemini 4 Argon (high) à 57,5%.

Dix-huit modèles figurent sur ce tableau. L'écart descend jusqu'à 19,1%. Le même modèle se retrouve à des rangs différents selon l'outil qui l'enveloppe. La meilleure exécution a consommé 97 900 000 tokens sur 38,6 heures.

Le benchmark GDPx de SemiAnalysis visait le travail économiquement viable. Il a trouvé que le modèle de tête n'atteignait que 12%. FrontierMat est un ensemble de 330 problèmes tirés de la recherche en aérospatiale, semi-conducteurs, intelligence incarnée et fusion nucléaire. Il place le meilleur modèle généraliste à 53,7%. Sur des problèmes appariés, les questions multi-échelles obtiennent 8,7 points de moins que les questions à échelle unique. Au plus un modèle a résolu la moitié des 330 problèmes. Une expérience d'adaptation de domaine dans le même article a fait passer un modèle à poids ouverts de 36,7% à 55,4%. Cela égalait le meilleur modèle propriétaire.

Raisonner ne veut pas dire être fiable

L'écart entre capacité et fiabilité apparaît aussi en clinique. Une étude parue dans Nature Communications a comparé six paires appariées de modèles de raisonnement et de modèles standard. Elle couvrait 12 spécialités médicales et s'appuyait sur un benchmark tiré de dossiers de santé électroniques réels.

Les modèles de raisonnement ont produit plus de 34% de diagnostics faussement positifs en plus que leurs équivalents standard. Ils affichaient aussi une reproductibilité inférieure d'environ 40%, donc des exécutions répétées tombaient plus souvent en désaccord. Ils posaient toutefois des diagnostics principaux plus exacts et produisaient des diagnostics différentiels plus utiles en clinique.

Le correctif testé par les auteurs est la supervision, pas un modèle plus gros. Dans une validation avec 15 médecins, associer la sortie du raisonnement à une relecture par un clinicien a relevé la précision diagnostique de 20%. Cela a réduit les faux positifs de 44% par rapport aux modèles travaillant seuls. Les auteurs préviennent que les résultats viennent de dossiers rétrospectifs et non de consultations cliniques en direct.

Les poids ouverts ajoutent de la pression, et les chiffres demandent vérification

Les modèles de frontière fermés ne sont pas les seuls à bouger. Mistral a publié les poids de Mistral Large 4 le 29 octobre. C'est un modèle multimodal que Mistral a entraîné sur une infrastructure européenne. Mistral annonce 41% sur Terminal-Bench 4.0, soit 13 points de pourcentage de plus que l'aperçu du modèle. Il a aussi réduit les tokens de sortie de 30%.

L'entreprise affirme également que Large 4 a égalé GLM-5.3 à 48% sur l'Artificial Analysis Coding Agent Index. Il a consommé 47% de tokens en moins par tâche. Ce sont des chiffres annoncés par le fournisseur.

La licence compte ici. La licence à poids ouverts de Mistral autorise l'usage et la modification gratuits, mais une entreprise qui revend le modèle comme service a besoin d'une licence commerciale distincte.

Meituan a publié LongCat-2.5 lundi. C'est un modèle de 1 600 000 000 000 de paramètres, dont environ 48 000 000 000 actifs par token. Meituan l'a entraîné sur environ 50 000 accélérateurs chinois produits localement. Ses chiffres de benchmark attendent des tests indépendants.

Google n'a pas donné de date pour un accès plus large à Gemini 4 Carbon au-delà du programme Fairwind.