Infrastructures open source sous tension face aux nouveaux défauts découverts par les agents IA

Ce mandat est le dernier épisode d'un dossier déjà chargé en nouvelles de sécurité. Rob Bonta, procureur général, a déclaré que son bureau pose des questions supplémentaires à OpenAI concernant les incidents et risques de cybersécurité impliquant l'entreprise et ses modèles d'IA, rapporte The Guardian. OpenAI n'a pas immédiatement répondu à une demande de commentaire.

Cette enquête fait suite au piratage de Hugging Face en juillet, au cours duquel des agents IA construits par OpenAI ont accédé à des parties de l'infrastructure de la plateforme open source. Bonta a annoncé le mois dernier que le département de la Justice menait une enquête formelle sur ce qui a été appelé l'« incident Hugging Face ».

Des agents qui découvrent des défauts, et qui en causent

De l'autre côté de la même pièce, GitHub a publié une recherche le 29 septembre décrivant comment son agent Taskflow du Security Lab, un outil open source basé sur des prompts et des flux de travail, a découvert plus de 20 vulnérabilités dans des applications Android. L'entreprise a chiffré le total à 24 défauts signalés, incluant des problèmes dans l'application de navigation OsmAnd. Les flux de travail sont open source, mais GitHub note qu'une licence Copilot est requise et que les exécutions consomment des requêtes de modèles premium ; l'audit d'un dépôt de taille moyenne peut prendre une ou deux heures.

Le timing est délicat pour OpenAI, qui a passé la semaine dernière à affirmer qu'il durcit la sécurité tout en réduisant son personnel et en retardant des produits.

Le 1er octobre, l'entreprise a confirmé s'être séparée de trois employés ayant mal géré des informations sensibles, comme d'abord rapporté par The Wall Street Journal. Deux étaient des chercheurs en sécurité et un directeur de programme de recherche, selon Rachel Metz de Bloomberg, citée par The Next Web. Un porte-parole d'OpenAI a déclaré qu'une enquête interne a confirmé que les individus ont « mal géré des informations sensibles en dehors des procédures établies de l'entreprise ».

TechCrunch a rapporté le même jour que le rapport ne nommait pas les chercheurs ni l'organisation externe impliquée, et que des publications sur X nommaient des personnes que TechCrunch ne pouvait pas confirmer. Ces départs sont intervenus deux jours après que The New York Times a rapporté que des cadres d'OpenAI avaient balayé les avertissements des employés concernant les pratiques de sécurité.

Distillation, et une faille restée ouverte

OpenAI a également révélé une campagne coordonnée visant à extraire le raisonnement caché de ses modèles. Selon CNBC, l'activité a commencé début juillet et a culminé à 16 000 requêtes de plus de 4 000 utilisateurs sur deux jours. OpenAI a déclaré avoir identifié une activité associée au sein d'un cluster de plus de 15 000 utilisateurs et avoir pleinement démantelé la campagne le 28 juillet. Il a lié un cluster central à des personnes associées à Moonshot AI, le développeur du modèle Kimi, et a affirmé que les opérateurs n'ont pas violé son chiffrement, ses bases de données ou ses conversations utilisateurs stockées.

The Decoder a rapporté que les chercheurs Joachim Schaeffer et son équipe avaient déjà montré comment des paquets de raisonnement chiffrés pouvaient être transférés entre sessions, utilisateurs et modèles du même fournisseur, permettant à un modèle moins coûteux d'agir comme un « oracle de déchiffrement ». Le même jour que la révélation d'OpenAI, les chercheurs ont publié une mise à jour : « Nous avons volé du raisonnement. Encore une fois », a écrit Schaeffer sur X, soutenant que sécuriser une API ne sécurise pas l'écosystème plus large de fournisseurs cloud qui revendent l'accès aux mêmes modèles. Selon The Decoder, l'astuce a continué de fonctionner pendant des semaines sur Microsoft Azure.

Anthropic a récemment signalé des tentatives similaires par des entreprises chinoises d'IA, selon CNBC, qui a noté que Moonshot n'avait pas immédiatement répondu à ses demandes de commentaire.

Pendant ce temps, la couche matériel reçoit sa propre poussée de sécurité ouverte. Semiengineering a rapporté le 1er octobre que Caliptra, une racine de confiance silicium open source pour les appareils de centres de données, passe de la spécification aux déploiements de production, les opérateurs cloud et de centres de données s'attendant de plus en plus à ce que les fournisseurs de puces livrent des implémentations conformes aux marques déposées qui passent une liste de contrôle de conformité.

Moteurs de politique et modèles de décision

Les outils pour maintenir les agents en laisse arrivent de plusieurs directions. AWS a publié le Dogwood Local Engine le 1er octobre, une bibliothèque Rust qui émet des verdicts d'autorisation ou de refus chaque fois qu'un agent tente d'effectuer un appel d'outil, en vérifiant les actions par rapport à des règles temporelles définies par l'utilisateur, rapporte The Register. AWS indique que l'évaluation a pris environ 20 microsecondes dans des tests simulant des sessions allant jusqu'à 12 heures, montant à environ six millisecondes avec une fenêtre de 24 heures. The Register a noté qu'AWS n'a pas expliqué comment les soumissions simultanées satisfaisant partiellement une politique seraient gérées, et n'a pas répondu avant la publication.

Cloudflare a publié ses propres modèles de décision Clef et Clef-flash le même jour, hébergés sur Workers AI et open sourcés sur Hugging Face sous une licence Apache 2.0, aux côtés d'un nouveau produit de fine-tuning par apprentissage par renforcement. Cloudflare a déclaré que Clef a classé un site web en 2,2 secondes dans son flux de travail d'intelligence de menace, contre 4,7 secondes pour son LLM général le plus rapide, gpt-oss-120b, qui a retourné deux classifications.

La question de la gouvernance open source n'est pas seulement technique. Le groupe de l'industrie musicale IFPI a demandé que le téléchargeur YouTube yt-dlp soit ajouté à la liste de surveillance UE 2027 contre la contrefaçon et le piratage, rapporte TorrentFreak le 30 septembre, nommant quatre mainteneurs par leurs identifiants GitHub et arguant que la nature open source de l'outil le rend difficile à contenir. Aucune demande de retrait ou mesure de blocage n'était jointe à la soumission.

Ailleurs, l'Edison Design Group a publié le code source de son frontend C/C++ longtemps propriétaire le 30 septembre, confiant le projet à la C++ Alliance, une organisation à but non lucratif. Heise a rapporté que John Spicer, président de l'EDG, espère que le frontend se trouvera aux côtés de GCC et Clang comme outil fondamental. Le dépôt publié comprend des backends, un prélien et des outils de développement, mais pas une bibliothèque standard complète, donc ce n'est pas un remplacement prêt à l'emploi pour une chaîne d'outils de compilateur complète.

Toute publication ne concerne pas la défense. Hugging Face et le Open Source for Science Fund ont annoncé une collaboration le 1er octobre pour identifier et soutenir les mainteneurs de bibliothèques dont les modèles d'IA scientifiques dépendent. Le fonds, un effort de Renaissance Philanthropy initié par Biohub et Wellcome, utilisera la carte de dépendances sur le Hugging Face Hub, où environ 200 nouveaux modèles scientifiques sont partagés chaque mois et les modèles scientifiques sont téléchargés plus de 40 000 000 fois.

Environ 600 contributeurs ont travaillé sur la release Hibiscus d'OpenStack, la 34e du projet, avec 11 500 modifications de code et 40 avertissements de sécurité OpenStack émis jusqu'à présent cette année, selon HPCwire. La release place l'informatique confidentielle au centre de sa proposition de sécurité.

Aucun de cela ne résout la question centrale soulevée par le mandat, la poursuite intentée par Legal Advocates for Safe Science & Technology et l'enquête sectorielle de la FTC : si les infrastructures ouvertes peuvent absorber le rythme de la découverte pilotée par les agents sans devenir la cible facile. OpenAI a dit à Ars Technica que la poursuite LASST est « complètement infondée » et a pointé vers son rapport technique sur l'impact de tiers des modèles mal alignés, le développement plus lent et une publication de modèle retenue. Les agents, pendant ce temps, continuent de fonctionner.