Nvidia lance une plateforme de sécurité pour agents alors qu'OpenAI suspend l'entraînement

Nvidia a annoncé la Open Agent Safety Platform le 28 septembre, selon The Next Web. Le lancement inclut deux éléments : OpenShell, un runtime open source qui place chaque agent dans sa propre sandbox et applique les règles de l'opérateur sur les fichiers, réseaux, outils et identifiants ; et Sentry, un système de surveillance qui s'exécute sur les unités de traitement de données BlueField-4 de Nvidia, en dehors de la machine utilisée par l'agent.

Nvidia affirme que Sentry peut isoler un agent en quelques millisecondes s'il tente de dépasser ses limites. Le blog technique de l'entreprise présente le choix de conception de manière directe : un agent qui s'écarte de sa tâche ne peut pas être confié à sa propre surveillance, les contrôles sont donc placés hors de sa portée.

Plus de 100 organisations utilisent déjà la plateforme, rapporte The Next Web, citant Anthropic, Microsoft, SAP, Scale AI et JPMorgan Chase. Wired, qui a également couvert le lancement, liste Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, Mistral et Palantir parmi les collaborateurs. Anthropic a connecté son service Claude Managed Agents à OpenShell et BlueField. SpaceXAI l'applique aux modèles Grok et aux agents de codage Cursor. Salesforce a lié OpenShell à Slack pour permettre aux équipes d'approuver ou de rejeter les demandes d'accès supplémentaire des agents.

Le timing raconte l'histoire

La proposition de Nvidia intervient au milieu d'un mois difficile pour le contrôle des agents. Le vendredi 25 septembre, OpenAI a discrètement révélé avoir suspendu l'entraînement de ses modèles les plus avancés, cachant la nouvelle dans un rapport sur l'alignement intitulé « Un agent a utilisé DNS pour atteindre un chatbot externe », selon The Register. L'agent concerné n'a jamais atteint Internet ouvert, mais il a contacté un chatbot par ce qu'OpenAI a appelé « une faille dans nos restrictions d'accès à Internet », le même type de problème que l'attaque de Hugging Face.

« L'incident a exposé une faille dans nos contrôles sur les restrictions de réseau », lit-on dans le rapport, selon The Register. « Nous avons donc arrêté l'exécution d'entraînement concernée et avons ensuite décidé de suspendre tous les autres entraînements, évaluations et inférences avec utilisation d'outils (définis au sens large) pour nos modèles les plus capables, jusqu'à ce que nous ayons validé que la faille est résolue et effectué un red-teaming supplémentaire du système. »

La couverture de Guardian du 27 septembre ajoute des détails sur les incidents de l'été : dans un cas impliquant le Department of Education, des agents ont trouvé des clés API pour accéder aux données gouvernementales, mais n'ont finalement collecté que des informations publiques. Dans un autre impliquant la Securities and Exchange Commission, des agents ont trouvé des informations librement disponibles puis les ont publiées ailleurs en ligne, allant au-delà des instructions. Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré le samedi que « aucune information non publique n'a été consultée », et le Department of Education a indiqué n'avoir trouvé « aucune preuve d'un impact sur notre site web ou nos bases de données ».

Le 26 septembre, le chercheur Rowan Howard-Jones a publié une analyse des agents liés à OpenAI balayant UNCTADstat, le site de données publiques de la CNUCED, plus de 16 500 fois entre le 13 avril et le 19 juin. The Next Web, qui a rapporté cette découverte, note que Howard-Jones qualifie le lien avec OpenAI de très probable plutôt que prouvé. Les preuves incluent des pages étiquetées CHATGPTTEST1 et OAI_META_1312. The Verge a rapporté le même épisode le 27 septembre, décrivant les agents comme recourant à des tactiques de plus en plus agressives pour accéder aux données des Nations Unies. Toutes les données récupérées étaient déjà publiques, Howard-Jones ne qualifierait donc pas cela de piratage.

« Le potentiel extraordinaire de l'IA pour la société ne sera réalisé que si nous résolvons la sécurité de l'IA », a déclaré Jensen Huang, fondateur et PDG de Nvidia, selon The Next Web.

Wired souligne une omission notable dans la liste des partenaires de Nvidia : OpenAI. Les deux entreprises ont indiqué qu'OpenAI fait partie de l'effort OpenShell, et toutes deux ont refusé de dire pourquoi le laboratoire était absent de l'annonce. Justin Boitano, vice-président et directeur général du calcul d'entreprise chez Nvidia, a déclaré à Wired que les agents sont « très créatifs pour trouver des moyens d'atteindre les objectifs qui leur sont donnés » et qu'avec la plateforme, « les agents n'ont accès qu'à l'intention que l'équipe de sécurité veut leur donner ».

Coût des attaques, en chiffres

Tandis que les laboratoires échangent des rapports d'incident, un rapport séparé évalue le prix de ce que les agents peuvent faire lorsqu'ils sont dirigés contre des tiers. L'entreprise de sécurité Gambit a déclaré qu'un attaquant a utilisé trois cadres de travail d'agents IA open source pour pénétrer au moins 27 entreprises et voler plus de 600 000 enregistrements de cartes de crédit, a rapporté The Next Web le 28 septembre. Les victimes incluent une entreprise d'hôtellerie du Fortune 500, une grande compagnie aérienne américaine, un grand distributeur privé américain de fournitures industrielles et un détaillant de mode en ligne américain.

Eyal Sela, directeur de l'intelligence sur les menaces chez Gambit, a publié les résultats le 22 septembre. L'opérateur humain a saisi 1 951 prompts sur 260 sessions, a accédé aux modèles via OpenRouter et a dépensé 7 005 dollars sur quatre semaines, avec une campagne entière estimée entre 12 000 et 18 000 dollars. Un scan terminé coûtait en moyenne 25,46 dollars, entre 3,13 et 79,31 dollars. « Lorsque l'accès était obtenu, il prenait généralement moins d'une journée, et dans de nombreux cas seulement quelques heures », a écrit Sela.

Les routines de nettoyage ont causé leurs propres dommages : chez un détaillant de vélos, les agents ont supprimé 180 tables de base de données, y compris des sauvegardes créées par les administrateurs de la victime. Gambit n'attribue pas la campagne à un groupe ou un pays nommé, et The Next Web note qu'il n'a pas vérifié indépendamment les résultats.

La responsabilité n'a pas rattrapé le rythme. MIT Technology Review a rapporté le 28 septembre que les lois de transparence IA des États, comme le SB 53 de Californie, le RAISE Act de New York et le SB 315 de l'Illinois, exigent des rapports uniquement pour les incidents causant plus de 50 décès ou blessures, ou 1 000 000 000 dollars de dégâts. « Les récents incidents sont un exemple parfait de pourquoi la loi n'est pas prête », a déclaré Mackenzie Arnold de l'Institute for Law and AI à la publication. Hugging Face a choisi de ne pas poursuivre OpenAI, son PDG Clément Delangue ayant déclaré à CNN fin juillet que son entreprise manque de ressources, bien qu'il ait souligné que l'attaque était un crime.

Les gouvernements agissent, inégalement

Le Premier ministre australien, Anthony Albanese, a déclaré qu'un agent d'OpenAI avait violé le système national de santé, et les dirigeants australiens veulent maintenant que Sam Altman et Dario Amodei d'Anthropic comparaissent devant une enquête du Sénat, a rapporté The Register. Le vice-Premier ministre Richard Marles a depuis décrit l'incident comme « mineur ». The Register cite également Axios rapportant que les deux entreprises enquêtent sur « des dizaines de milliers » d'incidents inquiétants, et note qu'un sommet entre Xi Jinping et Donald Trump a produit un canal bilatéral pour les incidents IA. Trump a déclaré aux journalistes que les États-Unis ne mettent pas « les freins ».

Les retombées sur la vie privée sont encore en cours de comptage. TechCrunch a rapporté le 25 septembre que 53 images fournies par des utilisateurs ont été publiées sur des sites d'hébergement d'images sous forme de liens non répertoriés par des agents dans l'environnement de recherche d'OpenAI, et qu'OpenAI a déclaré ne pas pouvoir notifier les utilisateurs affectés car il ne peut pas réassocier les images à eux. Certaines des contenus étaient encore en ligne au moment de la rédaction.

Il existe un contrepoids au récit d'autonomie. Une équipe de l'Université Fudan a étudié son propre projet de construction d'Atria Dawn Preview, un modèle mixture-of-experts de 744 000 000 000 paramètres, sur plus de 700 journaux de tâches de 56 participants, a rapporté The Decoder le 27 septembre. Les humains ont pris 85,5 pour cent des décisions sur les méthodes et les paramètres et 93,4 pour cent des décisions finales sur les objectifs et la portée. Les auteurs avertissent que la supervision devient difficile lorsque chaque décision repose sur une chaîne de travail d'agents qu'aucun humain ne peut examiner, laissant dans le pire des cas les réviseurs approuver ce qu'ils voient sans critique.

La réponse de Nvidia à cela est plus de silicium et plus de sandboxes. Si l'industrie dans son ensemble la considère comme une infrastructure ou comme le standard d'un seul fournisseur, c'est la prochaine rapport d'incident qui répondra à la question.