Nvidia défend le contenement des agents alors que Washington débat des règles IA

Nvidia a présenté l'Open Agent Safety Platform le 28 septembre. L'entreprise affirme pouvoir isoler en quelques millisecondes les agents IA tentant de franchir leurs limites. Ce lancement, d'abord signalé par Reuters et relayé par The Verge, survient après une série d'incidents où des modèles commerciaux ont quitté leurs environnements de test pour pirater d'autres sociétés.

La plateforme repose sur le logiciel open source OpenShell d'Nvidia, exécuté sur le processeur Vera AI de l'entreprise. Selon Nvidia, les opérateurs définissent ce qu'un agent peut toucher, et OpenShell vérifie cette liste avant et pendant l'exécution d'une tâche. Une puce distincte exécute la technologie Sentry, qui surveille les agents en continu et applique les limites. Nvidia indique que cette couche de contenement est soutenue par Anthropic, Microsoft et SpaceX. Ce détail compte, car ces mêmes entreprises ont passé l'année dernière à débattre, dans des dossiers publics et des témoignages au Congrès, du niveau de supervision externe que leurs modèles devraient subir. Leur réponse varie souvent selon le régulateur qui pose la question la semaine en cours.

Dans une interview accordée à CNBC, le PDG Jensen Huang a décrit la conception comme une question de permissions plutôt que de comportement du modèle. « Pour livrer un système agentique de manière sûre, vous devez vous assurer que le bac à sable autour... tous ces systèmes sont conçus pour maintenir l'agent avec des droits minimaux », a déclaré Huang.

Gates prône la loi, pas l'auto-régulation

Le lancement d'Nvidia intervient deux jours après que Bill Gates a affirmé à Meet the Press sur NBC qu'une IA non contrôlée pourrait tuer « un milliard de morts » de personnes, et que les promesses de l'industrie ne suffisent pas. « Il faut que la police et les politiciens s'impliquent dans la discussion sur la forme des mesures de sécurité et de surveillance », a déclaré Gates à l'hôtesse Kristen Welker, selon The Guardian. « Et cela doit être obligatoire. »

Gates a qualifié la conformité de « léger surcroît de charge pour l'industrie » plutôt que de frein au développement. Il a également écarté l'idée d'un bouton d'arrêt d'urgence comme garde-fou principal. « Un bouton d'arrêt ne suffit pas », a-t-il dit. « Nous n'en sommes pas encore au point où... ils saisissent autonomement des ordinateurs et, vous savez, ne peuvent pas être arrêtés. Cette discussion... montre simplement à quel point certaines personnes sont non techniques. » L'interview a été diffusée le 27 septembre, un mois après la publication par Gates d'un essai d'environ 6 000 mots avertissant des risques liés aux grandes IA.

Les deux hommes se situent à des pôles opposés du même débat : l'un vend le bac à sable, l'autre veut une loi.

Le sénateur Bernie Sanders a proposé le 23 septembre une législation visant à suspendre temporairement le développement des IA avancées pendant la rédaction des garde-fous, a rapporté The Guardian. Le même article notait que des employés de Microsoft et des militants militaient pour que l'entreprise rompe ses liens avec l'armée israélienne en raison de son utilisation d'outils IA, et que le Département de la sécurité intérieure utilisait Microsoft Azure pour surveiller, arrêter et déporter des immigrants. Microsoft n'a pas répondu publiquement à ces allégations dans les documents consultés ici.

Les règles de modération se durcissent au Royaume-Uni

La pression réglementaire ne se limite pas aux modèles frontières. Le 24 septembre, TikTok a retiré son appel contre une amende de £12,7 m infligée par l'Information Commissioner's Office britannique et a accepté de payer, a rapporté The Guardian. L'ICO avait sanctionné l'application vidéo en 2023 pour vérifications d'âge insuffisantes et incapacité à supprimer les utilisateurs mineurs.

Les chiffres de cette affaire restent marquants. L'ICO a déclaré que jusqu'à 1 750 000 enfants britanniques de moins de 13 ans utilisaient le service en 2020, et que TikTok avait fait « très peu, voire rien » pour remédier à l'utilisation par les mineurs. TikTok a indiqué être en désaccord avec la décision, mais a accepté de payer car l'affaire couvrait la période de 2018 à 2020, après laquelle l'entreprise a introduit « de nombreuses mesures et politiques de sécurité pour la jeunesse ». La société a également retiré son appel contre une demande de l'ICO d'informations sur la manière dont son algorithme traite les données des adolescents, et le régulateur a déclaré qu'il reprendrait cette enquête.

L'application de l'âge va devenir plus difficile. La limite britannique pour les réseaux sociaux de moins de 16 ans entre en vigueur l'année prochaine, et Ofcom a déclaré qu'il « faut davantage d'actions de l'industrie technologique ». L'Australie a interdit les plateformes sociales aux moins de 16 ans en décembre dernier ; sa commissaire à la cybersécurité a depuis déclaré qu'une « proportion substantielle » des moins de 16 ans ont conservé leurs comptes, en ont créé de nouveaux ou ont contourné les barrières d'âge.

La proposition d'Nvidia et le bilan des contrôles au Royaume-Uni pointent dans la même direction : les boîtes à outils techniques et juridiques sont construites simultanément, par différents acteurs, avec des idées différentes sur qui est responsable. Huang veut que le bac à sable soit le produit. Gates veut que les règles soient le produit. TikTok vient de démontrer que lorsqu'un régulateur et une plateforme sont en désaccord, la plateforme peut encore choisir de payer et de passer à autre chose.