Hallucinations : des benchmarks plus fins, Gemini 4 Argon réservé à quelques experts triés
Google a commencé à déployer Gemini 4 Argon, son modèle le plus puissant à ce jour, auprès d'un groupe d'experts en cybersécurité triés sur le volet, le mercredi 30 septembre. L'entreprise le garde hors du grand public par crainte de détournement.

Google a commencé à déployer Gemini 4 Argon, son modèle le plus puissant à ce jour, auprès d'un groupe d'experts en cybersécurité triés sur le volet, le mercredi 30 septembre. L'entreprise le garde hors du grand public par crainte de détournement. Dans un billet de blog, elle indique avoir donné volontairement un accès anticipé au gouvernement américain. Elle veut recueillir les retours des testeurs avant une disponibilité plus large, selon The Guardian.
Cette prudence jure avec les promesses que Google fait pour son modèle. Dans le billet de lancement, cité par TechCrunch, l'entreprise affirme qu'Argon obtient des scores nettement supérieurs à GPT-6 Astra d'OpenAI et à Fable et Opus d'Anthropic sur divers benchmarks d'IA, en citant la jeune pousse Vals, spécialisée dans l'évaluation. Elle assure aussi qu'Argon peut trouver seul, valider et corriger des failles logicielles critiques. Ce sont des promesses de capacité, pas de fiabilité. Les deux ne se confondent pas.
C'est là que la question de l'hallucination mord. Un modèle bien noté en raisonnement ou en programmation peut toujours produire des réponses fausses avec assurance. Les travaux récents sur le sujet vont dans les deux sens. Un audit contrôlé des métriques de conflit de gradient dans les modèles multimodaux unifiés, déposé sur arXiv le 29 septembre, est le plus intéressant des articles récents. Il vérifie si une métrique intermédiaire très utilisée prédit vraiment ce que les chercheurs croient qu'elle prédit. La réponse est non.
Les auteurs ont construit un banc d'essai nommé GRIDUMM qui reproduit les principaux ingrédients structurels de l'entraînement des modèles multimodaux unifiés. Il rend le compromis de référence entre compréhension et génération exactement calculable. Sur 63 configurations et 372 points de contrôle mesurés, aucune métrique directionnelle de conflit n'atteint une corrélation de Spearman absolue de 0,3 avec un intervalle de confiance excluant zéro. Une intervention dose-réponse qui supprime le conflit de façon monotone laisse le compromis inchangé, ce qui sépare corrélation et causalité. Les mesures d'interférence fonctionnelle font mieux que les métriques directionnelles de conflit, et la perte d'entraînement suit fortement le compromis. Les auteurs ne disent pas que le conflit est inutile. Ils disent que sa validité comme cible diagnostique doit être établie, pas supposée.
Le résultat reste étroit, sur une classe étroite de modèles. C'est aussi le genre de constat qui devrait faire hésiter quiconque lit un classement.
Ce que mesurent vraiment les benchmarks récents
Deux autres articles arXiv parus dans la même fenêtre adoptent une ligne tout aussi sceptique. ChartDensity-Bench, déposé le 30 septembre, évalue des grands modèles de langage multimodaux sur la reconstruction de données numériques à partir de graphiques scientifiques, à densité visuelle contrôlée. Il fait varier le nombre de graphiques affichés simultanément avec k égal à 1, 3, 6 et 9. Les expériences sur cinq MLLM récents montrent que la reconstruction numérique se dégrade à mesure que la densité visuelle augmente. L'ampleur de cette dégradation varie nettement d'un modèle à l'autre. Les comparaisons appariées au niveau du graphique montrent qu'un même graphique source peut produire une erreur de reconstruction plus élevée lorsqu'il est inséré dans un contexte visuel plus dense. C'est un mode de défaillance proche de l'hallucination, avec une mesure propre. Le modèle ne refuse pas. Il produit des nombres.
Un troisième article, Reverse Scoring for Diffusion Language Model Agents, déposé le 29 septembre, décrit une défaillance précise dans les agents fondés sur des modèles de langage à diffusion. Ils tombent dans des boucles de nouvel essai, en réémettant une action longtemps après son échec. Les auteurs l'attribuent au décodage masqué, qui fige les positions dont il est le plus sûr et repousse les incertaines. En situation d'échec, le contexte offre déjà un remplissage sûr pour la décision repoussée, à savoir l'action qui vient d'échouer. Ils modélisent la distorsion comme une corruption aveugle à la tâche. Ils proposent un remède sans entraînement, Reflect Reverse, évalué sur quatre benchmarks incarnés multi-tours.
Un motif traverse ces trois articles. Chacun isole une façon précise pour un modèle d'avoir confiance en une réponse fausse, la mesure dans des conditions contrôlées et constate que la métrique intermédiaire populaire ne suit pas le résultat. Aucun ne propose un score général d'hallucination. Tous suggèrent que les scores généraux d'hallucination en font moins que ce que leurs auteurs laissent entendre.
Pour mesurer à quel point un benchmark peut déplacer une conversation, regardons l'espace des modèles de décision. InfoQ rapporte que TypeSafe AI a publié Jev, qui ne génère aucun texte mais renvoie des décisions typées et probabilistes assorties d'une valeur de confiance. Le code appelant peut agir au-dessus d'un seuil et escalader en dessous. L'entrée coûte 0,042 dollar par million de tokens, la sortie est gratuite, la fenêtre de contexte est de 32 000 tokens et TypeSafe annonce une latence de bout en bout de 70 ms à 500 ms. Vercel a ajouté Jev à AI Gateway dès le deuxième jour. Le modèle aurait atteint près de 13 % des équipes payantes en 24 heures, soit le double de la part de la famille GPT-5.6.
Amazon a suivi. TechCrunch rapporte le 1er octobre qu'AWS a publié Strands Decider 2B, un modèle de décision open source inspiré de Jev, bâti sur le torse de Qwen3.5-2B. Il choisit entre des options décidées à l'avance et renvoie une mesure de confiance. Marc Brooker, ingénieur distingué chez Amazon, a déclaré à TechCrunch que le modèle a brièvement occupé la première place du classement Jevbench pour les modèles de sa taille. Selon lui, l'attrait tient à une étape de flux de travail plus fiable grâce aux scores de confiance et à un domaine de réponses fermé, avec une latence plus faible et un coût potentiellement inférieur.
Diogo Almeida, fondateur de TypeSafe, ne mâche pas ses mots sur l'encombrement. "Je comprends que les gens y voient une ruée vers l'or, mais ils sous-estiment peut-être la difficulté de rendre ces modèles réellement intelligents", a-t-il dit à TechCrunch. La fournée actuelle, selon lui, "ressemble davantage" à une vague d'imitateurs. Que cela se vérifie ou non, la direction est claire : certains concepteurs répondent au problème de fiabilité en réduisant l'espace de sortie plutôt qu'en promettant un meilleur modèle général.
L'argument de sécurité arrive avant les preuves
Google justifie la restriction d'Argon par la nécessité d'une approche par étapes pour une capacité de pointe de ce niveau. Koray Kavukcuoglu, architecte IA en chef de Google, l'écrit dans le billet de blog annonçant le modèle. Google indique qu'Argon a été conçu pour refuser les demandes pouvant aider à mener des cyberattaques ou à mettre au point des armes chimiques, biologiques ou nucléaires. L'entreprise surveille aussi le raisonnement du modèle pour l'empêcher de sortir de ce que les utilisateurs voulaient, un risque que les chercheurs appellent désalignement.
The Guardian rapporte que ce déploiement prudent imite Anthropic, qui garde Claude Mythos Preview réservé à un petit nombre d'organisations de confiance. Washington a brièvement contraint Anthropic à suspendre l'accès à ses modèles Claude Mythos et Claude Fable rendus publics en juin. Il a depuis mis en place un processus volontaire de vérification des modèles d'IA les plus puissants avant leur publication. L'annonce est tombée un jour après que Donald Trump a reçu des dirigeants technologiques, dont Sundar Pichai et Dario Amodei d'Anthropic, à la Maison-Blanche. Ils y ont signé un accord volontaire promettant d'encadrer les risques de leurs propres systèmes d'IA.
Google affirme que les premiers testeurs ont utilisé Argon pour découvrir une faille dans un logiciel employé par des hôpitaux du monde entier, qui exposait des informations personnelles sensibles. D'autres modèles avancés l'avaient manquée. C'est une anecdote, rapportée par le vendeur, à propos d'un modèle hors circulation générale. À traiter comme une promesse de capacité venant d'une partie intéressée.
La bataille sur la provenance se joue en parallèle. CNBC rapporte qu'OpenAI dit avoir identifié et déjoué une campagne coordonnée visant à extraire le raisonnement protégé de ses modèles. L'entreprise relie un noyau de cette activité à la jeune pousse chinoise Moonshot AI. L'activité a commencé début juillet et est montée à 16 000 requêtes venant de plus de 4 000 utilisateurs en deux jours, avec des activités liées chez plus de 15 000 utilisateurs. OpenAI affirme que les opérateurs n'ont pas franchi son chiffrement, ses bases de données ni les conversations stockées de ses utilisateurs. Elle dit avoir entièrement déjoué la campagne au 28 juillet.
The Register relève le malaise de la plainte, vu l'historique d'OpenAI en matière d'entraînement sur des données du web. Le site rapporte avoir demandé à OpenAI quels modèles étaient visés en juillet, sans réponse. Il rapporte aussi que Michael Kratsios, assistant de Trump pour la science et la technologie, a accusé fin juillet Moonshot AI d'avoir créé son modèle Kimi K3 en distillant Fable d'Anthropic. Claude Opus 5.5 d'Anthropic, sorti une semaine avant ce rapport, est livré avec une défense contre la distillation appelée preserved thinking, introduite avec Fable 5.1.
Moonshot n'a pas répondu dans l'immédiat aux demandes de commentaire de CNBC, et The Register indique n'avoir pas reçu de réponse immédiate non plus. L'accusation centrale reste donc à sens unique dans les documents publics.
L'autre fil à surveiller concerne l'origine des données d'entraînement et leurs conditions. The Guardian rapporte le 1er octobre qu'Anthropic a pressé le gouvernement d'Albanese d'envisager une autorisation conditionnelle d'entraîner sur des œuvres protégées australiennes selon un modèle de retrait volontaire. L'entreprise concède qu'elle n'obtiendrait pas une exemption générale du droit d'auteur. L'ABC et SBS ont répliqué dans des contributions à une enquête parlementaire fédérale. L'ABC a averti d'une cannibalisation de l'industrie de l'information australienne, et les deux diffuseurs ont suggéré d'inclure les entreprises d'IA dans l'incitation à la négociation avec les médias.
La contribution d'Anthropic affirme que la technologie pourrait transformer l'économie australienne. Elle avertit aussi de graves conséquences pour la sécurité nationale, la résilience des infrastructures critiques et la sécurité publique. La commission mixte spéciale sur l'IA tient des auditions à Sydney la semaine prochaine, avec la présence attendue de dirigeants d'Anthropic et d'OpenAI.
Rien de tout cela ne tranche la fiabilité d'un modèle donné. Mais l'industrie publie désormais des promesses de fiabilité plus vite qu'elle ne livre les moyens de les vérifier. Les vérifications qui existent sont étroites, contrôlées et peu flatteuses pour les métriques intermédiaires que tout le monde cite. Un chiffre circule aussi dans les milieux techniques : 2 000 000 000 de tokens traités par jour chez un fournisseur, sans que cela dise quoi que ce soit de la justesse des réponses.
Sources
13- 01Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 02Google releases Gemini 4 Argon, called its most powerful model yetEN
- 03Does Gradient Conflict Predict the Understanding-Generation Trade-off? A Controlled Audit of Conflict-Metric Validity in Unified Multimodal ModelsEN
- 04ChartDensity-Bench: Benchmarking MLLMs for Numerical Data Reconstruction under Visual DensityEN
- 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
- 06TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 07Amazon releases its own Jev clone as decision models flood the webEN
- 08AI race heats up as OpenAI flags alleged model-copying campaignEN
- 09Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 10Anthropic pushes for opt-out model for Australian content as ABC warns of 'cannibalisation' of newsEN
- 11Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
- 12Ideogram says its new model can edit part of an image without messing up the restEN
- 13ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.