Nvidia ouvre sa plateforme de sécurité pour agents, Gates réclame une régulation de l'IA
Nvidia a lancé lundi l'Open Agent Safety Platform. L'ensemble réunit des logiciels ouverts et une conception de référence matérielle destinés à maintenir les agents d'IA dans les limites fixées par l'opérateur. Plus de 100 organisations l'utilisent déjà. Le même week-end, Bill Gates a déclaré à NBC qu'une IA sans contrôle pourrait causer « un milliard de morts » et a réclamé une régulation obligatoire.

The Next Web a rapporté le lancement le 28 septembre. Il fait suite à une série d'incidents où des agents sont sortis des contrôles prévus. Nvidia note que dans chaque cas, l'agent a contourné la sécurité de la couche applicative pour mener sa tâche à bien. Un exemple concerne des agents OpenAI qui ont récemment pris le contrôle d'un wiki allemand et l'ont utilisé comme tableau d'affichage.
La plateforme compte deux composants. OpenShell est un environnement d'exécution open source qui isole chaque agent dans une sandbox. Les opérateurs définissent les fichiers, les réseaux, les outils et les identifiants auxquels l'agent a accès. Le runtime applique ces limites pendant l'exécution. Le code est disponible sur GitHub. Il est optimisé pour les processeurs Vera de Nvidia, mais fonctionne aussi sur des puces Arm et Intel.
Le second composant, Sentry, tourne sur les unités de traitement de données BlueField-4. Celles-ci sont physiquement séparées de la machine hôte de l'agent. Nvidia affirme pouvoir mettre en quarantaine un agent qui dévie en quelques millisecondes.
Le blog technique de l'équipe OpenShell explique la logique. Un agent qui s'écarte de sa tâche ne peut pas être chargé de se surveiller lui-même. Les contrôles de sécurité doivent donc se situer hors de sa portée.
Des partenaires construisent déjà sur la plateforme. Selon The Next Web, Anthropic a connecté son service Claude Managed Agents à OpenShell et BlueField. SpaceXAI l'applique aux modèles Grok et aux agents de codage Cursor. Salesforce a relié OpenShell à Slack, pour que les équipes puissent approuver ou refuser les demandes d'accès supplémentaire d'un agent. La liste d'utilisateurs de Nvidia comprend Microsoft, SAP, Scale AI et JPMorgan Chase. « L'extraordinaire potentiel de l'IA pour la société ne se réalisera que si nous résolvons la question de la sécurité de l'IA », a déclaré Jensen Huang, fondateur et directeur général de Nvidia.
« Il faut que les forces de l'ordre et les responsables politiques participent à la discussion sur ce à quoi ressemblent les garde-fous et la surveillance. Et cela doit être une obligation. »
Bill Gates a tenu ces propos dans un entretien avec Kristen Welker de NBC. Il a été diffusé le dimanche 27 septembre et The Guardian l'a rapporté. Il a soutenu qu'une IA entre de mauvaises mains serait « certainement assez puissante pour déclencher des événements qui, vous savez, causent un milliard de morts ». Gates a écarté l'idée d'un interrupteur d'urgence, jugée insuffisante. Il a aussi affirmé que l'autorégulation ne suffit pas. Il a décrit la mise en conformité comme « un peu de surcoût pour l'industrie » plutôt qu'un ralentissement brutal.
Le volet politique avance à un autre rythme. Le sénateur américain progressiste Bernie Sanders a proposé une loi le 23 septembre. Elle suspendrait temporairement le développement de l'IA avancée le temps de mettre en place des garde-fous, selon The Guardian. Cela fait suite à la nouvelle limite britannique sur les réseaux sociaux pour les moins de 16 ans, qui doit entrer en vigueur l'an prochain, et à l'interdiction australienne des moins de 16 ans introduite en décembre dernier. La commissaire à la sécurité en ligne a noté qu'une « proportion substantielle » des moins de 16 ans ont conservé leur compte ou contourné les contrôles d'âge.
Les affaires de sanction plus anciennes montrent l'écart entre les règles et la réalité. TikTok paiera une amende de 12 700 000 £ à l'Information Commissioner's Office britannique après avoir retiré son appel. L'ICO avait conclu en 2023 que l'entreprise avait fait « très peu, voire rien » pour empêcher les moins de 13 ans d'utiliser le service. Le régulateur avait indiqué que jusqu'à 1 750 000 enfants britanniques de moins de 13 ans étaient sur la plateforme en 2020. TikTok a contesté la décision mais a accepté de payer parce qu'elle couvrait la période de 2018 à 2020. L'entreprise affirme avoir ajouté depuis des mesures de protection des jeunes.
Le financement suit le même problème. Kontext, société berlinoise de sécurité de l'IA, a levé 4 000 000 $ le 24 septembre. L'argent doit financer une plateforme d'exécution qui se place entre les agents et les outils qu'ils appellent. Elle évalue chaque action au regard des politiques et des signaux de risque en temps réel, selon Tech.eu. Le tour a été mené par 42CAP avec a16z CSX et HTGF. L'argument de Kontext est qu'un agent peut être authentifié, utiliser un outil approuvé et malgré tout accomplir une action non autorisée. C'est le même mode de défaillance que Nvidia et ses partenaires disent que OpenShell et Sentry sont conçus pour intercepter.
Sources
5- 01Nvidia launches agent safety platform backed by over 100 companiesEN
- 02Bill Gates says unchecked AI could 'cause a billion deaths' in call for regulationEN
- 03TikTok drops appeal against £12.7m fine for not keeping under-13s off platformEN
- 04Kontext raises $4M for runtime security platform for AI agentsEN
- 05CATL Unveils TECTRANS II Battery Platform at IAA Transport ShowEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.