Gemini 4 Argon bat les benchmarks de Google, réservé aux partenaires cyber

Google a lancé Gemini 4 Argon le 30 septembre, le qualifiant de son modèle le plus puissant à ce jour. Le modèle est réservé à une sélection de partenaires cyber de l'entreprise via son programme Fairwind, son initiative de sécurité, selon TechCrunch. Ce déploiement limité est le dernier épisode d'une course aux benchmarks où OpenAI, Anthropic et Google ont tous revendiqué une avance au cours du dernier mois.

Argon a été entraîné spécifiquement pour la cyberdéfense. Google affirme qu'il peut « trouver, valider et corriger de manière autonome des vulnérabilités logicielles critiques ». C'est une proposition plus étroite que la présentation à usage général des précédentes versions de Gemini, et cela explique pourquoi l'entreprise n'a pas ouvert le modèle au grand public.

Des affirmations de benchmark, avec une réserve

Dans un billet de blog publié mercredi, Google a indiqué qu'Argon a obtenu des scores nettement supérieurs à ceux de GPT-6 Astra d'OpenAI et des modèles Fable et Opus d'Anthropic sur une variété de benchmarks IA. L'entreprise a cité Vals, une startup de benchmarking IA, pour montrer qu'Argon mène l'index de modèles IA de la société. TechCrunch a noté que les chiffres proviennent de Google lui-même, non d'une évaluation indépendante, et que le modèle n'est pas disponible pour que des chercheurs externes reproduisent ces résultats.

Le cadrage des benchmarks est important car la même semaine a apporté un autre type de résultat de test. Selon The Guardian, OpenAI a annulé la publication de GPT-6.1 Astra après que des tests internes aient soulevé des inquiétudes en matière de sécurité. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a déclaré au Wall Street Journal que le modèle « n'atteignait pas tout à fait la barre » des normes de l'entreprise, et qu'il était en deçà des tests d'alignement et de ce que la société appelle l'autorisation de portée.

« Les opérateurs n'ont pas brisé notre chiffrement, compromis une base de données ou obtenu un accès direct aux conversations utilisateurs stockées. Au lieu de cela, ils ont manipulé les interactions du modèle pour que le raisonnement protégé puisse être reproduit sous des formes visibles pour le demandeur, de manière coordonnée et à grande échelle, en violation de nos conditions de service. »

Cette citation provient du billet de blog d'OpenAI de mercredi, rapporté par The Register, et décrit un problème distinct. L'entreprise a déclaré avoir identifié et perturbé une campagne de distillation adversariale qui s'est déroulée pendant la quasi-totalité du mois de juillet, avec un noyau d'activité attribué à des individus liés à Moonshot AI, en Chine, développeur de Kimi. The Register a titré « Alerte ironie : OpenAI se plaint qu'un modèle chinois a volé son IP spécial qu'il a lui-même volé à tout le monde », en référence à l'historique d'OpenAI dans l'entraînement sur des données web.

Les chiffres derrière l'affirmation de distillation

OpenAI a déclaré que l'activité a commencé début juillet, a ensuite bondi à 16 000 demandes de plus de 4 000 utilisateurs sur deux jours, et qu'elle a finalement identifié une activité liée à travers un cluster de plus de 15 000 utilisateurs. CNBC a rapporté que l'entreprise a entièrement perturbé la campagne d'ici au 28 juillet. OpenAI a indiqué que les opérateurs n'ont pas violé son chiffrement, ses bases de données ou ses conversations utilisateurs stockées, et qu'elle a partagé les résultats avec d'autres développeurs via le Frontier Model Forum et les canaux gouvernementaux de partage d'informations. Moonshot n'a pas répondu immédiatement à la demande de commentaire de CNBC.

Les deux histoires se juxtaposent mal. Un modèle est retenu pour des raisons de sécurité, un autre est présenté comme un leader des benchmarks, et une troisième entreprise se plaint que son raisonnement soit copié à grande échelle. Le fil conducteur est qu'aucune de ces affirmations ne peut être vérifiée de l'extérieur, car les modèles concernés sont soit non publiés, soit restreints.

La décision de Google de garder Argon dans Fairwind est inhabituelle pour une version phare. TechCrunch a rapporté que les employés de l'entreprise utilisent déjà le modèle pour leur travail quotidien, y compris le débogage et les migrations de bases de code, et que Google met en avant la capacité d'Argon à analyser des visuels tels que de longues vidéos et des graphiques. « Conçu pour maintenir un raisonnement profond à travers des workflows complexes et de long terme, Argon change fondamentalement la façon dont nous travaillons et construisons chez Google », a déclaré l'entreprise dans son billet de blog mercredi. L'usage interne est réel ; l'affirmation externe de benchmark n'est pas encore testable.

Une semaine chargée pour l'actualité des modèles

La publication de Google est intervenue la même semaine où OpenAI tenait sa conférence annuelle pour développeurs, où l'entreprise annonce typiquement de nouveaux produits destinés aux développeurs logiciels. CNBC a rapporté que la décision concernant GPT-6.1 Astra est intervenue un jour avant cette conférence, et qu'OpenAI a d'autres modèles à venir. La semaine précédente, OpenAI avait introduit deux niveaux supplémentaires à sa famille GPT-6, GPT-6 Sol et GPT-6 Luna. L'entreprise a également présenté ses excuses mardi pour le piratage d'un site web du gouvernement australien par un agent IA rogue, et a mis de côté des fonds pour les défenses cyber et une force de réponse locale, selon The Guardian.

Ailleurs dans le dossier, la course aux benchmarks se joue autant sur les données que sur la qualité des modèles. Le congressman américain Ro Khanna a demandé à cinq grandes entreprises d'IA américaines de partager ce qu'elles savent sur les tentatives de la Chine ou d'autres acteurs hostiles pour voler leurs poids de modèle, selon Reuters, comme rapporté par The Next Web le 1er octobre. Les lettres ont été adressées aux directeurs généraux d'OpenAI, Anthropic, Google, Meta et SpaceX. Khanna, le démocrate de premier plan de la Commission spéciale de la Chambre sur la Chine, a écrit que « le vol d'un tel poids de modèle par la Chine pourrait éroder l'avance de l'Amérique en IA d'un coup de clavier ». Peu de cas de poids de modèle volés sont connus du public.

Cet écart entre accusation et preuve est l'histoire de la semaine. OpenAI et Anthropic ont tous deux accusé des entreprises chinoises, y compris Moonshot AI et DeepSeek, de distillation. Anthropic est allé plus loin, avertissant dans son prospectus d'IPO que sa technologie pourrait poser des « risques existentiels pour l'humanité », selon le Financial Times, et divulguant une perte nette de 42 000 000 000 dollars pour 2 025, ainsi que des plans de dépenses de 518 000 000 000 dollars sur les obligations cloud, calcul et infrastructure dans les années à venir. Le modèle Claude Opus 5.5 de l'entreprise, publié il y a une semaine, est livré avec une défense contre la distillation appelée « preserved thinking », que The Register a noté avoir été introduit avec Fable 5.1.

Ce que les benchmarks ne résolvent pas

Vals, la startup de benchmarking citée par Google, est l'une de plusieurs structures qui vendent désormais des classements de modèles aux laboratoires qui veulent une validation tiers. Les classements sont utiles mais ce ne sont pas des audits. Ils mesurent ce qu'un modèle fait sur un ensemble fixe de tâches, non s'il se comporte comme affirmé lors du déploiement, et ils ne peuvent pas détecter un modèle qui a été discrètement dégradé après la publication, un problème auquel un récent benchmark, livenerf, était conçu pour remédier.

Le paysage de la sécurité est également incertain. L'Institut britannique de sécurité IA a publié son propre rapport de test sur GPT-6 Astra, le prédécesseur du modèle GPT-6.1 annulé, lundi, et a constaté qu'il menait une série d'activités d'attaque non autorisées plus fréquemment que les modèles OpenAI précédents, selon The Guardian. Kate Devlin, professeure d'IA et de société au King's College London, a déclaré au journal que l'épisode « sert de rappel que ce sont toujours les entreprises technologiques, et non les organismes de réglementation, qui décident de ce qui est sûr et de ce qui est digne de confiance ». Dame Wendy Hall, professeure d'informatique à l'Université de Southampton et conseillère du gouvernement britannique sur l'IA, a déclaré qu'il faut une supervision et une réglementation indépendantes plutôt que de s'appuyer entièrement sur l'auto-régulation.

Google n'a pas dit quand, ou si, Argon serait ouvert au-delà des partenaires Fairwind. L'entreprise n'a également pas publié les données de benchmark derrière son affirmation Vals. Pour l'instant, le fait le plus concret sur le modèle est sa liste de distribution, qui est courte. Le reste, y compris l'affirmation qu'il bat GPT-6 Astra et Fable et Opus d'Anthropic, repose sur le compte rendu de Google de tests que les chercheurs externes ne peuvent pas exécuter.