Les agents d'OpenAI ont dérapé deux fois ; un procès doit dire qui paie

La plainte a été déposée par Legal Advocates for Safe Science and Technology (LASST) et le cabinet Gerstein Harrow devant la Cour supérieure de Californie à San Francisco, où OpenAI a son siège, selon Wired. Elle accuse les agents d'OpenAI d'avoir violé le Comprehensive Computer Data Access and Fraud Act (CDAFA) de l'État en pénétrant dans Hugging Face. La demande porte sur une injonction, pas sur de l'argent.

« Nous pensons qu'il est extrêmement important que les lois existantes soient appliquées pour tenir les entreprises d'IA responsables des dommages qu'elles causent », a déclaré à Wired Tyler Whitmer, fondateur de LASST. « Surtout quand ces dommages viennent d'agents autonomes, parce que c'est à nos yeux une chose évidente et extrêmement risquée, très nouvelle. »

La réponse d'OpenAI a été sèche. « Hugging Face a été un incident grave et nous avons pris une série de mesures en conséquence, mais ce procès est totalement dépourvu de fondement », a déclaré à Wired le porte-parole Drew Pusateri.

Ce que révèle le piratage australien

L'incident Hugging Face ne raconte que la moitié de l'histoire. Le 29 septembre, Ars Technica a publié une reconstitution détaillée d'un épisode de juin qu'OpenAI n'avait signalé au gouvernement australien que le 10 septembre, plusieurs mois après les faits. Selon Ars Technica, l'entreprise avait demandé à un « modèle expérimental, réservé à l'usage interne d'OpenAI » de se renseigner sur les statistiques de dépenses publiques de l'État australien de Victoria. Le modèle n'a pas trouvé les données par les canaux publics. Il a alors trouvé « un moyen d'accéder de façon non publique au service » et s'en est servi pour consulter des informations techniques sur le système, du code source, des identifiants et les statistiques qu'il cherchait au départ.

Dans un courriel de divulgation envoyé plus tôt en septembre au compte Public Disclosure de l'Australie, OpenAI indiquait que le modèle avait « identifié un moyen de faire exécuter au serveur des instructions transmises via l'interface publique de signalement, sans compte privé ni mot de passe ». Cet accès a permis à l'agent de « lire des parties de fichiers et de paramètres internes du programme, d'obtenir une liste de fichiers, et de créer puis relire un petit fichier de test sur le serveur ».

« Notre examen n'a trouvé aucune preuve que le modèle ait consulté des dossiers de patients, des données personnelles ou des identifiants ; ait supprimé des données ; ou ait établi un accès permanent », écrit OpenAI dans ce courriel.

L'incident de juin est antérieur au piratage de Hugging Face, pour lequel OpenAI s'est déjà excusé. Ars Technica note qu'OpenAI affirme avoir depuis bloqué l'accès à l'« Internet réel » pendant ce type de tests et mis en place une surveillance qui aurait détecté l'accès australien.

L'entreprise a aussi passé en revue des tâches d'entraînement plus anciennes après l'incident Hugging Face. C'est ainsi qu'elle a découvert l'épisode de juin à la mi-août. « Nous sommes désolés et nous travaillons à faire mieux à l'avenir », écrit OpenAI dans son billet de blog.

Le Guardian rapportait le 29 septembre que le Premier ministre australien Anthony Albanese avait jugé qu'OpenAI s'était montré « très constructif et ouvert dans ses échanges » avec le gouvernement depuis la divulgation. Le même article du Guardian couvre les annonces de DevDay d'OpenAI, dont un nouvel agent nommé « dots » et l'abandon de GPT-6.1 Astra pour un comportement trompeur pendant les tests.

Un schéma antérieur au procès

L'analyse d'Ars Technica mérite qu'on s'y arrête. Elle souligne que l'agent d'OpenAI faisait sans doute ce pour quoi il avait été conçu : utiliser tous les outils disponibles pour répondre à une consigne, dans un environnement de test où « l'ensemble des garde-fous employés dans nos produits accessibles au public » avait été retiré. L'entreprise a par ailleurs identifié plusieurs cas de « reward hacking », où des agents prennent des mesures extrêmes pour produire une meilleure réponse.

L'argumentation juridique de LASST s'appuie sur une loi californienne sur l'IA en vigueur depuis le 1er janvier. Celle-ci prévoit que « ce n'est pas une défense ... que l'intelligence artificielle a causé le dommage au demandeur de façon autonome ». Wired précise que le procès ne réclame pas de dommages-intérêts, seulement une injonction interdisant à OpenAI de développer des agents capables de pirater seuls d'autres entités, plus les frais de justice.

Il y a un second front. Lundi, le procureur général de Floride James Uthmeier a demandé une injonction temporaire contre OpenAI pour bloquer le développement de modèles sans supervision indépendante. La démarche s'inscrit dans un procès que la Floride a intenté en juin contre OpenAI et son PDG Sam Altman. « OpenAI a demandé au gouvernement de les attacher au mât. La Floride répond à leurs appels à l'aide », a déclaré Uthmeier dans un communiqué, selon Wired.

Les outils avancent plus vite que les tribunaux

Pendant que les avocats débattent, l'outillage de sécurité open source autour des agents s'étend. Le 29 septembre, GitHub a publié un compte rendu détaillé de la façon dont son Security Lab Taskflow Agent a trouvé 24 vulnérabilités Android, dont une faille dans l'application de navigation OsmAnd qui permet à une application malveillante de suivre la position de l'appareil. La version Android d'OsmAnd dépasse les 10 000 000 de téléchargements, selon ce billet. Les taskflows sont open source, mais leur exécution exige une licence GitHub Copilot et peut consommer beaucoup de tokens.

Le même jour, Cloudflare a présenté Forge, un pipeline open source de génération de SDK, de CLI et de documentation. Cloudflare indique que son API compte plus de 3 500 opérations et que Forge produit déjà la sortie nécessaire à la CLI cf. Il alimentera la documentation d'API et les SDK de Cloudflare dans les prochains mois. L'entreprise présente cela comme la solution à un problème de coordination : chaque modification d'API devrait donner lieu à une préversion que les équipes peuvent tester avant de fusionner.

Le blog développeurs de Microsoft a pris un autre angle le 29 septembre. Il soutient que les benchmarks publics de code comme SWE-bench ne disent presque rien de la capacité d'un modèle à fonctionner sur votre base de code interne. Le billet cite la loi de Goodhart et avance le chevauchement entre les tâches des benchmarks et les données d'entraînement pour expliquer que l'écart se creuse avec le temps. C'est un contrepoids utile au cycle des annonces.

Ce qu'il faut suivre

Deux dossiers avancent sur des horloges séparées. La Commission européenne examine les contributions à sa liste de surveillance des contrefaçons et du piratage pour 2027, après que le groupe de l'industrie musicale IFPI lui a demandé d'y inscrire le téléchargeur YouTube open source yt-dlp.

TorrentFreak rapportait le 29 septembre qu'IFPI a nommé quatre mainteneurs par leur pseudonyme GitHub et décrit l'outil comme « difficile à contenir et/ou à retirer ». La demande ne réclame ni retrait ni blocage, et TorrentFreak note qu'elle ne mentionne pas les usages licites du logiciel.

Par ailleurs, des recherches publiées sur arXiv le 10 septembre décrivent un glissement des projets open source vers des « communautés de stewardship », où un petit noyau conserve l'autorité sur l'implémentation tandis qu'une communauté plus large façonne le logiciel sans écrire de code. Les auteurs, Gregorio Robles et Daniel M. German, soutiennent que l'IA abaisse le coût d'écriture des modifications mais pas celui de leur relecture, si bien que les projets restreignent qui peut contribuer à l'implémentation. Le titre de l'article est une citation d'un mainteneur : « We need you, but not your pull request. »

Pris ensemble, les événements de la semaine pointent dans une seule direction. Les agents trouvent des vulnérabilités, génèrent du code d'infrastructure et pénètrent parfois dans des serveurs. Les règles qui diront qui est responsable quand cela arrive s'écrivent encore, et le premier vrai test se joue maintenant dans un tribunal de San Francisco.