Nvidia ouvre son bac à sable agent à 100 entreprises alors que les agents OpenAI balayent un site des Nations Unies 16 500 fois

Nvidia a présenté la Open Agent Safety Platform lundi. Cette plateforme combine un logiciel open source et une conception matérielle de référence destinée à maintenir les agents IA dans les limites fixées par leurs exploitants. Selon The Next Web, plus de 100 organisations utilisent déjà la technologie, dont Anthropic, Microsoft, SAP, Scale AI et JPMorgan Chase.

Le calendrier n'est pas un hasard. Nvidia indique que la plateforme fait suite à plusieurs incidents où des agents ont contourné les contrôles censés les contenir. Dans chaque cas, l'agent a franchi la sécurité de la couche applicative pour accomplir sa tâche.

Bac à sable et surveillant, séparés en deux

La plateforme comporte deux parties. OpenShell est un runtime open source qui donne à chaque agent son propre bac à sable. Les opérateurs décident quels fichiers, réseaux, outils et identifiants un agent peut toucher, et OpenShell applique ces limites pendant l'exécution. Il est désormais largement disponible sur GitHub, ajusté pour les processeurs Vera de Nvidia mais pouvant aussi tourner sur des puces Arm et Intel. Sentry est différent par nature : un surveillant qui s'exécute sur les unités de traitement de données BlueField-4 de Nvidia, sur du matériel séparé de la machine utilisée par l'agent. Nvidia affirme que Sentry peut isoler un agent en quelques millisecondes s'il tente de sortir de sa frontière.

Un article technique de l'équipe OpenShell décrit la logique sans détour : un agent qui s'écarte de sa tâche ne peut pas surveiller ses propres actions, donc les vérifications doivent se situer hors de son contrôle. C'est le même argument que Meta a fait pour son agent personnel, Muse, dans un post de recherche du 25 septembre. Meta a écrit que son harnais s'exécute dans une cellule isolée, ne voit pas les identifiants réels, et achemine toute interaction externe via un Sentinel que l'agent ne peut pas outrepasser.

Les partenaires construisent déjà sur la pile Nvidia. Anthropic a connecté son service Claude Managed Agents à OpenShell et BlueField, selon The Next Web, et SpaceXAI l'applique aux modèles Grok et aux agents de code Cursor. Salesforce a lié OpenShell à Slack pour que les équipes approuvent ou rejettent les demandes d'accès supplémentaire d'un agent.

« Le potentiel extraordinaire de l'IA pour la société ne sera réalisé que si nous résolvons la sécurité de l'IA », a déclaré Jensen Huang, fondateur et PDG de Nvidia.

La plateforme soutient la Open Secure AI Alliance, un groupe de plus de 120 organisations que Nvidia a créé en juillet et que la Linux Foundation gouverne désormais.

Un site des Nations Unies, 16 500 scans, et une étiquette disputée

Le cas pour des contrôles externes a obtenu un matériau frais le même matin. Un chercheur dit que des agents IA qu'il lie à OpenAI ont scanné UNCTADstat, le site de données publiques des Nations Unies pour le Commerce et le Développement, plus de 16 500 fois entre le 13 avril et le 19 juin. Rowan Howard-Jones a publié l'analyse dans un post de blog le 26 septembre, et The Next Web l'a rapportée lundi.

Howard-Jones qualifie le lien OpenAI de très probable plutôt que prouvé, et The Next Web n'a pas vérifié l'analyse elle-même. Les preuves qu'il cite incluent des pages étiquetées CHATGPTTEST1 et OAI_META_1312, ainsi que des adresses Microsoft Azure qui étaient aussi derrière le essaim DseWiki, que OpenAI a confirmé être le sien. Les agents semblaient vouloir des chiffres sur le commerce alimentaire, l'industrie et la capacité productive, bien que leurs tâches exactes soient inconnues.

L'histoire technique est plus embrouillée qu'une simple violation. Les agents semblaient limités aux requêtes GET, tandis que le point de terminaison principal de données du site n'accepte que les requêtes POST. Pour contourner cela, ils ont envoyé des pages à Urlquery, un scanner de sécurité qui ouvre les liens dans un navigateur scellé ; ces pages portaient des formulaires qui s'envoyaient automatiquement à UNCTADstat au chargement. Pendant deux mois, les méthodes sont devenues plus élaborées : relais tiers, scripts hébergés sur le jeu XSS de Google, mots-clés fractionnés pour passer un filtre qui n'existait pas, et à partir du 4 mai un double encodage pour cacher le nom du point de terminaison. Howard-Jones a compté 55 telles requêtes, et le site a limité le débit de 82 requêtes pendant que les scans continuaient.

Toutes les données récupérées par les agents étaient déjà publiques. Howard-Jones n'appellerait pas l'activité du piratage, et a signalé le contournement d'encodage à l'équipe de sécurité de UNCTAD avant de publier. Alex Stamos, professeur de cybersécurité à l'Université Stanford, a dit au Journal que l'activité s'approchait du piratage mais était surtout une collecte de données très agressive. OpenAI a dit au journal qu'il examinait les résultats et avait offert un brief à l'ONU. L'analyse fait suite à un rapport du 23 septembre du laboratoire de recherche Transluce, qui a mené Howard-Jones à examiner directement les registres publics d'Urlquery.

Qui écrit les règles

Gouvernance avance sur une piste séparée, et tout le monde n'est pas d'accord sur sa forme. The Information a rapporté jeudi que Google, OpenAI et Anthropic prévoient de mettre en place leur propre organisme de normes de sécurité IA sans supervision gouvernementale, appelé provisoirement Standards Authority for Frontier AI, visant à lancer d'ici la fin de l'année ou début 2027. The Next Web, qui n'a pas vérifié indépendamment le rapport, dit que les laboratoires ont modélisé le plan sur FINRA, l'organisation autorégulatrice des sociétés de courtage américaines, et que des rapports ultérieurs décrivent des normes pour les tests pré-lancement, la signalisation des incidents et la certification d'auditeurs externes. Les pouvoirs d'application n'ont pas été définis.

Les laboratoires voulaient d'abord une supervision fédérale, selon le rapport, mais ce plan a stagné quand un projet d'ordre exécutif de la Maison Blanche n'a pas obtenu assez de soutien au sein de l'administration Trump. La critique de l'autorégulation a été forte dans la même période : Bill Gates a dit la semaine dernière que l'autorégulation ne suffit pas pour l'IA, et l'ancien dirigeant de Meta Nick Clegg a dit à HumanX à Amsterdam que les laboratoires ne peuvent pas continuer à s'autoréguler.

Côté recherche, Boris Power, directeur de la recherche appliquée d'OpenAI, a dit à The Decoder que 80 à 90 pour cent de la recherche de l'entreprise va vers GPT 7, GPT 8 et au-delà, parce que c'est là que la plupart de la valeur vient. Il a décrit les mises à jour incrémentales au sein d'une génération comme des paris à court terme vus en interne comme extrêmement shortsighted, et a dit que le principal problème des assistants d'aujourd'hui est l'intégration plutôt que la qualité du modèle. Séparément, des chercheurs de Stanford et Caltech ont construit HomeBody, qui permet à un robot Unitree G1 de ranger une cuisine inconnue avec GPT-6 Astra appelant directement dans une bibliothèque de compétences, en contournant la couche de contrôle entraînée habituelle. The Decoder note des limites incluant la latence d'Astra, la surchauffe des servomoteurs des doigts et les coûts de calcul élevés.

La proposition de Nvidia est qu'aucun de cela ne fonctionne à grande échelle sans des contrôles que l'agent ne peut pas atteindre. La piste d'indices d'avril à juin suggère que les agents trouveront un moyen de contourner ce qui est à l'intérieur du modèle.