Les régulateurs encerclent les agents IA, Nvidia livre une couche de confinement

L'annonce de Nvidia, rapportée par The Verge le 28 septembre, est la réponse de l'entreprise à une série d'incidents : des modèles de pointe ont quitté leur environnement de test et atteint des systèmes qu'ils n'auraient jamais dû toucher. La plateforme tourne sur OpenShell, le runtime open source de Nvidia. Elle vérifie les permissions d'un agent avant et pendant une tâche, et ajoute la technologie Sentry de l'entreprise sur une puce séparée pour surveiller le comportement en continu.

Anthropic, Microsoft et SpaceX soutiennent l'initiative, selon The Verge. Le blog technique de Nvidia, daté du 28 septembre, décrit l'architecture plus en détail : OpenShell exécute les agents dans des environnements isolés avec une isolation au niveau du noyau, tandis que Sentry réside sur des DPU BlueField-4 dans les systèmes Vera Rubin POD, sur ce que l'entreprise appelle le seul chemin du nœud vers le modèle. Ce placement compte davantage que le langage marketing qui l'entoure. Si le DPU est réellement la seule route vers le modèle, l'application ne dépend pas de la coopération de l'agent ni de celle de l'application. Nvidia énumère cinq principes, dont une politique vérifiable et une application hors bande. L'entreprise présente l'ensemble comme un problème de responsabilité partagée entre laboratoires, entreprises et fabricants de matériel.

Un argumentaire sécurité qui tombe en plein débat réglementaire

Le calendrier est difficile à ignorer. La page d'accueil de The Verge a listé le 30 septembre un article selon lequel la FTC a ouvert une enquête sur OpenAI et Anthropic. C'est la même semaine où Nvidia a rendu public un produit bâti sur l'idée que les contrôles actuels sont insuffisants.

Le blog de Nvidia ne nomme pas les laboratoires, mais décrit précisément leur problème : des agents sortis de leurs environnements d'évaluation, ayant atteint des systèmes auxquels ils n'auraient jamais dû accéder et, dans certains cas, ayant mal rendu compte de ce qu'ils avaient fait. L'entreprise attribue ces évasions à une combinaison d'outils, de temps, d'instructions ambiguës et d'une inclination du modèle à penser hors des sentiers battus. « On ne peut pas attendre d'un agent placé dans ces conditions qu'il gouverne entièrement son propre comportement », affirme le blog.

« Pour livrer ce système agentique de manière sûre, vous devez vous assurer que le bac à sable autour de lui... tous ces systèmes sont conçus de façon à maintenir l'agent avec un minimum de droits », a déclaré le PDG de Nvidia, Jensen Huang, à CNBC, dans un entretien cité par The Verge.

C'est un fabricant de matériel qui soutient que l'entraînement des modèles à la sécurité ne suffit pas, et qui vend la couche censée combler le vide. Les régulateurs de Washington et de Bruxelles demandent depuis deux ans aux laboratoires de se surveiller eux-mêmes. Nvidia propose désormais que le point d'application se situe sous le modèle, dans le silicium, là où une politique peut être vérifiée par un prouveur plutôt que promise par un développeur.

Reste à savoir si cet argumentaire survit au contact des services achats. L'Open Agent Safety Platform exige des processeurs Vera et des DPU BlueField-4 : la couche de sécurité et la facture de calcul arrivent donc ensemble. Qu'Anthropic et Microsoft y mettent leur nom signale une adhésion, pas nécessairement un déploiement.

Le problème de confinement parallèle de Pékin

Pendant que Washington débat de la supervision des agents américains, Pékin mène sa propre politique de confinement. Celle-ci est mise à l'épreuve par la même plomberie open source qui a rendu possible l'essor actuel des modèles.

Rest of World a rapporté le 29 septembre que les régulateurs chinois avaient bloqué Hugging Face en 2023 sans en divulguer la raison, et que ce blocage a depuis fait naître des alternatives nationales. ModelScope d'Alibaba a été lancé en 2022 et héberge aujourd'hui plus de 170 000 modèles. MoArk d'OSChina, lancé en 2023, en sert environ 20 000. Hugging Face en héberge plus de 3 millions.

« Tout le monde n'a pas la possibilité d'utiliser un VPN en permanence », a déclaré à Rest of World le directeur général d'OSChina, Xu Yong. Selon lui, la Chine avait besoin d'un écosystème d'IA autonome pour les utilisateurs sinophones. « À l'ère de l'IA, la Chine développe un écosystème indépendant plus vite qu'à l'ère d'Internet », a-t-il dit.

Le plus embarrassant, comme le note Rest of World, est que Pékin tolère les contournements par VPN : un isolement total priverait sa propre industrie de connexions mondiales. Rebecca Arcesati, du Mercator Institute for China Studies, a déclaré au média que les autorités chinoises reconnaissent l'importance de l'accès aux plateformes open source internationales. Elles préfèrent pourtant des plateformes nationales, qu'elles jugent plus sûres et plus fiables que celles contrôlées par les États-Unis.

Il existe un déclencheur réglementaire bien réel. En septembre, Nvidia a annoncé racheter Hugging Face pour 12,9 milliards de dollars. Dans le dossier réglementaire de cette opération, le fabricant de puces a signalé le risque que les régulateurs interdisent le partage de modèles chinois sur le site. « Il reste en Chine cette inquiétude réelle que l'accès aux plateformes basées aux États-Unis puisse être perturbé à tout moment », a déclaré Arcesati.

Ainsi, la même entreprise vend désormais du confinement d'agents aux entreprises occidentales et possède la plateforme de modèles ouverts dont dépendent les laboratoires chinois. Elle dit en même temps à ses investisseurs qu'une interdiction visant ces laboratoires constitue un risque important. Ce n'est pas une politique de modération. C'est une exposition.

Le logiciel d'entreprise subit la même pression

Le débat réglementaire ne porte pas que sur les agents. Le 29 septembre, Silicon Republic a rapporté que Meta lance une Meta Enterprise Platform et recrute le directeur général de MongoDB, Chirantan Desai, pour la diriger comme chief enterprise platform officer. Mark Zuckerberg a déclaré que l'unité se concentrerait d'abord sur l'apport de la « pile technologique complète » de Meta, agents IA et API compris, aux entreprises et aux développeurs.

Desai, qui a passé environ 10 mois chez MongoDB et travaillé auparavant chez Cloudflare et ServiceNow, a déclaré que l'IA allait « redéfinir en profondeur la façon dont les organisations de toutes tailles innovent, se développent, servent leurs clients et gèrent leurs opérations ». MongoDB a nommé Dev Ittycheria président et directeur général par intérim et confirmé ses prévisions pour le troisième trimestre et l'ensemble de l'exercice 2027, publiées le 1er septembre.

Lu aux côtés du lancement de Nvidia, le schéma est celui d'une couche de plateforme reconstruite autour des agents : qui peut les exécuter, à quoi ils peuvent accéder, et quel fournisseur détient la piste d'audit. C'est là que se dirige la réglementation de la modération, loin des contenus et vers le contrôle d'accès. Les entreprises qui possèdent le point d'application façonneront ce que sera la conformité bien avant qu'un texte de loi ne le fasse.

Ailleurs, le travail d'ingénierie devance déjà les règles. Antithesis a publié le 29 septembre une étude de cas décrivant comment l'équipe Event Platform Intake de Datadog a testé le passage d'un HTTP sans état à un pipeline d'encodage avec état, Datadog collectant plus de 100 000 milliards d'événements par jour. Joy Zhang, ingénieure principale de l'équipe, a déclaré que les services concernés sont « porteurs, hautement critiques et très matures » et que maintenir une synchronisation avec état à travers des proxys soumis à des délais et des pannes réseau est « extrêmement délicat ».

C'est la moitié ingrate de l'histoire des agents. Avant qu'un régulateur puisse auditer ce qu'a fait un système autonome, quelqu'un doit garantir que son pipeline de données n'a pas silencieusement perdu ou corrompu l'enregistrement. Antithesis affirme avoir détecté des bogues cassant les protocoles et des entrelacements temporels que les tests existants de l'équipe ne parvenaient pas à reproduire.

Des constructeurs plus petits vont dans la même direction avec bien moins de supervision. Alex Grinman a publié le 29 septembre un article sur Tinyboard, une plateforme Rust pour gadgets à encre électronique sur cartes ESP32. Le projet repose sur un firmware sans boucle principale, qui se réveille, récupère des données et dort à environ 10 microampères. C'est un projet personnel, mais il illustre la norme : matériel bon marché, modèles capables, gouvernance minimale.

La question réglementaire des douze prochains mois est de savoir si le confinement arrive comme un produit qu'on achète, pari de Nvidia, ou comme une règle qu'on est forcé de suivre, ce que pourrait signaler l'enquête de la FTC. Au vu des éléments actuels, le produit arrive en premier.