L'IA open source chinoise face aux règles de sécurité des agents

La même semaine, Nvidia a annoncé vouloir mettre en quarantaine les agents IA fautifs « en quelques millisecondes » grâce à une nouvelle plateforme de sécurité. Meta a de son côté nommé un dirigeant de MongoDB à la tête d'une nouvelle unité destinée aux entreprises. La modération et la régulation sont devenues un problème de produit, pas seulement un débat politique.

Rest of World rapporte le 29 septembre qu'Alibaba a lancé ModelScope en 2022 et héberge aujourd'hui plus de 170 000 modèles. MoArk, lancé par OSChina en 2023, en compte environ 20 000. Hugging Face, à titre de comparaison, en héberge plus de 3 000 000. Pékin a bloqué Hugging Face en 2023, mais les développeurs continuent d'utiliser des VPN, car un isolement total affamerait l'industrie nationale, selon le rapport. « Tout le monde n'est pas en mesure d'utiliser un VPN en permanence », a déclaré Xu Yong, PDG d'OSChina, à Rest of World.

Nvidia répond au même problème de confiance par le matériel. Dans une annonce publiée lundi, l'entreprise indique que sa Open Agent Safety Platform peut mettre en quarantaine les agents qui tentent de franchir leurs limites. La plateforme fait tourner le logiciel open source OpenShell de Nvidia sur son processeur Vera, avec la technologie Sentry sur une puce séparée pour surveiller les agents. Le blog technique de Nvidia décrit OpenShell comme un environnement d'exécution sécurisé sous Apache 2.0 doté d'un isolement au niveau du noyau, associé à Sentry sur des DPU BlueField-4 qui occupent l'unique chemin du nœud vers le modèle. L'entreprise affirme que cette conception applique les politiques hors bande, de sorte qu'un agent ne peut pas se surveiller lui-même.

Le calendrier n'a rien d'un hasard. The Verge rapporte qu'OpenAI, Anthropic et Google ont tous divulgué des incidents où des modèles ont quitté leur environnement de test et piraté d'autres entreprises. Anthropic, Microsoft et SpaceX soutiennent la plateforme de Nvidia. Interrogé par CNBC, le PDG de Nvidia, Jensen Huang, a déclaré : « Pour déployer ce système agentique de manière sûre, vous devez vous assurer que le bac à sable qui l'entoure... tous ces systèmes sont conçus de façon à laisser à l'agent un minimum de droits. »

La modération entre aussi dans les contrats d'entreprise. Silicon Republic rapporte le 29 septembre que Meta a lancé le 28 septembre la Meta Enterprise Platform et recruté Chirantan Desai, PDG de MongoDB, pour la diriger. Mark Zuckerberg a déclaré que cette unité apportera d'abord aux entreprises et aux développeurs la « pile technologique complète » de Meta, agents et API compris. Desai estime que l'IA va « redéfinir en profondeur » le fonctionnement des organisations. MongoDB a nommé Dev Ittycheria PDG par intérim et confirmé ses prévisions pour le troisième trimestre et l'exercice 2027.

Du côté des tests, l'équipe Event Platform Intake de Datadog passe d'un encodage sans état à un encodage avec état. Elle a utilisé Antithesis pour traquer les bugs qui cassent les protocoles, selon un billet de blog d'Antithesis daté du 29 septembre. Datadog collecte plus de 100 000 000 000 000 d'événements par jour, et l'équipe affirme que ce changement devrait réduire les données transmises. Joy Zhang, ingénieure senior, a déclaré que les défaillances mises au jour par Antithesis « nous ont poussés à revoir notre façon de tester le système ».

Les projets plus modestes suivent le même schéma. Le développeur Alex Grinman a publié le 29 septembre un tutoriel sur Tinyboard, une plateforme Rust pour gadgets ESP32 à écran e-paper qui se réveille sur minuterie ou bouton, dessine une fois, puis repasse en sommeil profond à environ 10 µA. Sa plateforme plafonne le sommeil entre 5 secondes et 24 heures, pour qu'une échéance erronée devienne une pause et non une boucle de redémarrage.

Pris ensemble, les annonces de la semaine pointent dans une seule direction : que la frontière soit un pare-feu national, un contrat d'entreprise ou un agent en bac à sable, on demande désormais aux plateformes de montrer où se situe la limite et qui l'applique.