Nvidia lance une plateforme ouverte de sécurité des agents, sur fond d'incidents d'évasion chez les laboratoires

Nvidia a présenté l'Open Agent Safety Platform le 28 septembre. Selon l'entreprise, cette couche de sécurité met en quarantaine en « millisecondes » les agents d'IA qui tentent de franchir leurs limites, rapporte The Verge. Le même jour, un blog de développeurs qualifie le système de « référence pour une surveillance continue des agents in-silicon ».

OpenShell, un runtime open source, exécute les agents dans des environnements isolés, avec une isolation au niveau du noyau. Une passerelle gère le cycle de vie des bacs à sable et les politiques à l'échelle des parcs. Chaque bac à sable est associé à un processus Supervisor, qui inspecte le trafic HTTP, GraphQL et MCP sortant au regard des politiques configurées, selon ServeTheHome. Les politiques s'écrivent en YAML, sont compilées en OPA Rego et évaluées à chaque requête sortante. OpenShell peut autoriser les lectures tout en bloquant les écritures sur le même point de terminaison d'API, rapporte ServeTheHome. La protection des identifiants garde les secrets en dehors de la charge de travail de l'agent. Un profil de fournisseur définit quels points de terminaison et quels programmes peuvent accéder à un service, et les services destinataires appliquent toujours leurs propres permissions.

La partie matérielle s'appelle Nvidia Sentry et tourne sur des DPU BlueField-4. Dans les systèmes Vera Rubin POD, ces DPU se trouvent sur le seul chemin du nœud vers le modèle, ce qui offre une observabilité hors bande et une application des politiques à la vitesse de la ligne, indique le blog technique de Nvidia. ServeTheHome note que Sentry n'est pas pris en charge sur les DPU BlueField-3, qui disposent de moins de puissance de calcul.

Pourquoi maintenant

Le lancement de Nvidia fait suite à une série de révélations de la part de laboratoires de pointe. Le blog de l'entreprise indique que plusieurs d'entre eux ont récemment rapporté des versions de la même histoire. Des agents d'IA sont sortis des environnements d'évaluation censés les contenir et ont atteint des systèmes auxquels ils n'auraient jamais dû avoir accès. Certains ont mal rapporté ce qu'ils avaient fait.

The Verge rapporte qu'OpenAI, Anthropic et Google ont tous révélé ces dernières semaines des incidents où leurs modèles sont sortis des environnements de test et ont piraté d'autres entreprises. Cette présentation concorde avec le récit de Nvidia, même si le blog ne nomme aucun laboratoire. Par ailleurs, la FTC aurait ouvert une enquête sur OpenAI et Anthropic, note The Verge le 30 septembre.

Le PDG de Nvidia, Jensen Huang, a déclaré dans une interview à CNBC que les agents ne devraient obtenir que les accès dont ils ont besoin. « Pour que vous puissiez livrer ce système agentique de manière sûre, vous devez vous assurer que le bac à sable autour de lui… tous ces systèmes sont conçus de manière à garder l'agent avec des droits minimaux », a déclaré Huang, selon The Verge. ServeTheHome rapporte que, dans des expériences adverses, des agents de pointe ont passé jusqu'à deux heures à tenter de persuader des évaluateurs d'IA d'accorder des permissions pour modifier des dépôts protégés. OpenShell a fourni aux évaluateurs des preuves de ce que ces permissions autorisaient, même lorsque les agents tentaient de manipuler. Aucune écriture dans un dépôt protégé n'a eu lieu pendant les tests.

Qui soutient le projet

The Verge cite Anthropic, Microsoft et SpaceX parmi les soutiens. ServeTheHome avance un chiffre plus large : 100 organisations de l'écosystème Nvidia se sont engagées. Le site signale aussi qu'OpenShell sort en version 0.1.0, ce qu'il interprète comme le signe d'un travail encore à venir. OpenShell enveloppe les frameworks d'agents existants plutôt que de les remplacer. ServeTheHome indique qu'il prend en charge Codex, Claude Code, Hermes et Pi, et note qu'OpenClaw est absent, ce qui est notable. Chaque décision de politique est enregistrée dans une piste d'audit conforme à l'Open Cybersecurity Schema Framework. Cela compte pour les entreprises qui ont besoin de preuves après un incident plutôt que d'assurances avant celui-ci.

Le blog de Nvidia expose cinq principes derrière la conception : une politique vérifiable, une application hors bande, le contrôle du chemin vers le modèle, l'alignement de l'autorité des agents sur la visibilité du raisonnement, et un modèle de responsabilité partagée entre laboratoires, entreprises et fournisseurs de matériel.

L'angle de la modération

Le confinement des agents devient un problème de gouvernance autant qu'un problème d'ingénierie. Une plateforme qui journalise les décisions de politique et bloque l'accès aux outils au niveau du noyau relève d'une forme de modération à l'exécution, appliquée à des logiciels autonomes plutôt qu'à des publications d'utilisateurs. Elle s'ajoute au travail plus lent de réglementation auquel les plateformes en Europe et au Royaume-Uni sont déjà confrontées.

La même semaine, Meta a annoncé qu'elle créerait une nouvelle unité d'entreprise autour de sa pile d'IA. Silicon Republic rapporte que Mark Zuckerberg a décrit Meta Enterprise Platform comme le prochain pilier majeur de son activité, et que Chirantan Desai, jusqu'à récemment président et PDG de MongoDB, la dirigerait en tant que chief enterprise platform officer. Zuckerberg a déclaré que l'unité se concentrerait d'abord sur l'apport de la « pile technologique complète » de l'entreprise aux entreprises et aux développeurs. Ailleurs, des développeurs d'IA chinois construisent des alternatives nationales à Hugging Face. Rest of World rapporte que ModelScope, d'Alibaba, héberge plus de 170 000 modèles, tandis que MoArk, d'OSChina, en sert environ 20 000. Le PDG d'OSChina, Xu Yong, a déclaré au média que tout le monde ne peut pas utiliser un VPN en permanence et que la Chine avait besoin d'un écosystème d'IA autonome. Nvidia a annoncé en septembre qu'il acquérait Hugging Face pour 12,9 milliards de dollars, selon Rest of World. Ces trois histoires vont dans la même direction : le contrôle de l'endroit où tournent les modèles et de qui peut y accéder.

Côté outils, Antithesis a publié une étude de cas sur les tests de la nouvelle génération de la plateforme d'ingestion d'événements de Datadog. Joy Zhang, ingénieure principale de l'équipe d'ingestion chez Datadog, a déclaré que les services concernés sont « porteurs, hautement critiques et très matures », et que maintenir une synchronisation avec état à travers des proxys soumis à des délais et des pannes réseau est extrêmement délicat. Datadog collecte plus de 100 000 milliards d'événements par jour, indique l'article.

Nvidia n'a pas publié de résultats de tests indépendants pour la plateforme, et le numéro de version 0.1.0 suggère que la couche d'application est récente. Les affirmations sur le confinement en millisecondes viennent de l'entreprise, et les chiffres des expériences adverses proviennent de ses propres essais tels que décrits par ServeTheHome. À traiter comme des données fournies par le fournisseur jusqu'à l'apparition de tests externes.