Gemini 4 Carbon en tête du nouvel indice d'hallucination, mais le meilleur score plafonne à 54

Le Gemini 4 Carbon de Google occupe la première place du benchmark AA-Omniscience v1.1, qui mesure les hallucinations et le rappel de connaissances, selon Tom's Hardware du 3 novembre. Le modèle obtient aussi 59 à l'Intelligence Index V5 d'Artificial Analysis. Soit un point de plus que Claude Opus 5.5 (max with fallback) et deux de plus que GPT-6 Astra d'OpenAI (max).

La réserve arrive tout de suite. Même le meilleur modèle plafonne à 54 sur l'échelle d'omniscience. C'est le chiffre à retenir.

L'écart d'intelligence est mince, celui des prix ne l'est pas. D'après le même article de Tom's Hardware, Gemini 4 Carbon coûte 7,76 dollars par tâche sur l'Intelligence Index. C'est un peu moins cher que Gemini 3.8 Flash (high) et plusieurs dollars en dessous de Claude Opus 5.5 ou Sonnet 5.5 en max with fallback. Claude Fable 5.1 coûte 12,99 dollars par tâche. GPT 6.1 Sol (max) d'OpenAI revient à environ six fois moins cher par tâche que Gemini 4 Carbon. Le DeepSeek V4.1 Flash 1017, à poids ouverts, est environ 13 fois moins cher, mais il ne marque que 32 sur le même indice. L'accès est échelonné : Google réserve d'abord le modèle aux défenseurs en cybersécurité via son programme Fairwind, avant une disponibilité plus large.

Ce cadrage sécurité s'appuie sur ses propres preuves. The Hacker News rapporte le 29 octobre que Gemini 4 Carbon domine les benchmarks de recherche, d'exploitation et de correction de vulnérabilités.

Les benchmarks se durcissent, et les modèles échouent toujours

Le résultat d'omniscience tombe au milieu d'une vague de nouvelles évaluations. Celles-ci testent délibérément des problèmes sans réponse dans les manuels. FrontierMat, déposé sur arXiv le 30 octobre, contient 330 problèmes tirés de la recherche académique et industrielle en matériaux, dans l'aérospatiale, les semi-conducteurs, l'intelligence incarnée et la fusion nucléaire. Des expérimentateurs et des experts du secteur ont validé chacun d'eux. Le meilleur modèle généraliste atteint 53,7 %. Au plus un modèle résout la moitié des problèmes.

Les auteurs nomment précisément le mode de défaillance : les modèles valident ce qui est plausible plutôt que ce qui a été observé. Sur des problèmes appariés, les 130 qui exigent un raisonnement multi-échelles obtiennent 8,7 points de moins que ceux à une seule échelle. Une recette d'adaptation de domaine combine un pré-entraînement continu à pondération méta et une auto-distillation modulaire par échelle. Elle fait passer un modèle à poids ouverts de 36,7 % à 55,4 %, au niveau du meilleur modèle propriétaire, sans baisse sur les benchmarks généraux.

D'autres articles vont dans le même sens. SafeWebWorld, soumis le 29 octobre, montre que des humains ont jugé sémantiquement plausibles 86,1 % de 3 000 prédictions issues de dix modèles ouverts figés. La plausibilité ne s'est pourtant pas traduite par des décisions de sécurité correctes. CLR-Bench, publié le même jour, teste si des agents auto-évolutifs apprennent des règles cachées. Le meilleur gain par rapport à un agent figé atteint au plus 5 points, alors qu'une leçon fixe énonçant la convention a fait progresser les mêmes méthodes de 14,5 à 16,5 points.

BULLPEN, également sur arXiv, soutient que l'exactitude seule laisse de côté le comportement, le style et la provenance. Il profile 260 modèles à poids ouverts à partir du texte de leurs réponses, avec 400 questions, soit 1,3 % du vivier complet de 24 118 questions.

Ce que la bataille des benchmarks dit vraiment

Les classements bougent chaque semaine. La newsletter Interconnects de Nathan Lambert a examiné le dilemme des créateurs de benchmarks dans un billet du 28 octobre sur Artificial Analysis v5. Le 30 octobre, il est revenu sur sa propre position concernant les modèles ouverts et le risque cyber.

La pression sur les coûts pousse de toute façon les acheteurs vers des modèles ouverts plus petits. The Register rapporte le 3 novembre que les analystes de Gartner Mark Petty et Raymond Paquet s'attendent à ce que les modèles à poids ouverts exécutent 90 % des étapes de workflow agentique en entreprise d'ici 2030. Ils les voient à environ un quart du prix du modèle fermé le moins cher et jusqu'à un vingtième d'un modèle de pointe, à chaque étape. Les analystes reconnaissent que les économies réelles sont plus proches de cinq ou six fois, car les modèles ouverts peuvent être plus verbeux et réessayer plus souvent.

Le risque d'hallucination n'est pas non plus réparti également selon la langue. SHAKTI et TRIDENT, soumis le 30 octobre, construisent un benchmark en hindi pour la détection de textes générés par IA, sur huit familles de LLM. Ils soutiennent que la recherche sur la détection reste centrée sur l'anglais.

Le schéma d'ensemble : de meilleurs scores, des marges plus minces, et des modes de défaillance que les scores de plausibilité ne repèrent pas.