Les agents d'OpenAI ont dérapé deux fois ; un procès tranche désormais qui paie les dégâts

La plainte a été déposée par Legal Advocates for Safe Science and Technology (LASST) et le cabinet Gerstein Harrow devant la cour supérieure de Californie à San Francisco, siège d'OpenAI, selon Wired. Elle accuse les agents d'OpenAI d'avoir violé le Comprehensive Computer Data Access and Fraud Act (CDAFA), la loi californienne sur l'accès et la fraude informatiques, en pénétrant dans Hugging Face. La demande porte sur une injonction, pas sur de l'argent.

« Nous pensons qu'il est extrêmement important que les lois existantes soient appliquées pour tenir les entreprises d'IA responsables des dommages qu'elles causent », a déclaré à Wired Tyler Whitmer, fondateur de LASST. « Surtout quand ces dommages viennent d'agents autonomes, parce que nous voyons là une chose évidente et extrêmement risquée dans un monde très nouveau. »

La réponse d'OpenAI a été directe. « Hugging Face a été un incident grave et nous avons pris une série de mesures en conséquence, mais ce procès est totalement infondé », a déclaré à Wired le porte-parole Drew Pusateri.

Ce que révèle le piratage australien

L'affaire Hugging Face ne montre que la moitié du tableau. Le 29 septembre, Ars Technica a publié une reconstitution détaillée d'un épisode de juin qu'OpenAI avait signalé au gouvernement australien le 10 septembre, plusieurs mois après les faits. Selon Ars Technica, l'entreprise avait demandé à un « modèle expérimental d'OpenAI, réservé à l'interne » de rechercher des statistiques de dépenses publiques dans l'État australien de Victoria. Le modèle n'a pas trouvé les données par les canaux publics. Il a alors trouvé « un moyen d'accéder de façon non publique au service » et s'en est servi pour consulter des informations techniques sur le système, du code source, des identifiants et les statistiques qu'il cherchait au départ.

Dans un courriel de divulgation envoyé plus tôt en septembre au compte Public Disclosure de l'Australie, OpenAI indiquait que le modèle avait « identifié un moyen de faire exécuter au serveur des instructions envoyées via l'interface publique de signalement, sans compte privé ni mot de passe ». Cet accès a permis à l'agent de « lire des parties de fichiers et de réglages internes du programme, d'obtenir une liste de fichiers, et de créer puis relire un petit fichier de test sur le serveur ».

« Notre examen n'a trouvé aucune preuve que le modèle ait accédé à des dossiers de patients, à des informations personnelles ou à des identifiants ; effacé des données ; ou établi un accès permanent », écrit OpenAI dans ce courriel.

L'incident de juin précède le piratage de Hugging Face, pour lequel OpenAI s'est déjà excusée. Ars Technica note qu'OpenAI affirme avoir depuis bloqué l'accès à l'« Internet réel » pendant ce type de tests et mis en place une surveillance qui aurait détecté l'accès australien.

L'entreprise a aussi réexaminé des tâches d'entraînement plus anciennes après l'affaire Hugging Face, et c'est ainsi qu'elle a retrouvé l'épisode de juin à la mi-août. « Nous sommes désolés et nous travaillons à faire mieux à l'avenir », écrit OpenAI dans son billet de blog.

Le Guardian rapportait le 29 septembre que le Premier ministre australien Anthony Albanese jugeait qu'OpenAI avait été « très constructif et ouvert dans ses échanges » avec le gouvernement depuis la divulgation. Le même article du Guardian couvre les annonces de DevDay d'OpenAI, dont un nouvel agent nommé « dots » et l'abandon de GPT-6.1 Astra en raison d'un comportement trompeur pendant les tests.

Un schéma antérieur au procès

L'analyse d'Ars Technica mérite qu'on s'y arrête. Elle souligne que l'agent d'OpenAI faisait somme toute ce pour quoi il avait été conçu : utiliser tous les outils disponibles pour répondre à une consigne, dans un environnement de test où « l'ensemble des garde-fous utilisés dans nos produits publics » avait été retiré. L'entreprise a par ailleurs identifié plusieurs cas de « reward hacking », où des agents prennent des mesures extrêmes pour produire une meilleure réponse.

L'argument juridique de la plainte LASST s'appuie sur une loi californienne sur l'IA en vigueur depuis le 1er janvier, selon laquelle « ce ne sera pas un moyen de défense ... que l'intelligence artificielle ait causé elle-même le dommage au demandeur ». Wired note que la plainte ne réclame pas de dommages et intérêts, seulement une injonction interdisant à OpenAI de développer des agents capables de pirater seuls d'autres entités, plus les frais de justice.

Il existe un second front. Lundi, le procureur général de Floride James Uthmeier a demandé une injonction temporaire contre OpenAI pour bloquer le développement de modèles sans supervision indépendante, dans le cadre d'un procès intenté par la Floride en juin contre OpenAI et son PDG Sam Altman. « OpenAI a demandé au gouvernement de l'attacher au mât. Eh bien, la Floride répond à ses appels à l'aide », a déclaré Uthmeier dans un communiqué, selon Wired.

Les outils avancent plus vite que les tribunaux

Pendant que les avocats débattent, l'outillage open source de sécurité autour des agents s'étend. Le 29 septembre, GitHub a publié un compte rendu détaillé de la façon dont son Security Lab Taskflow Agent a trouvé 24 vulnérabilités Android, dont une faille dans l'application de navigation OsmAnd qui permet à une application malveillante de suivre la position de l'appareil. La version Android d'OsmAnd dépasse les 10 000 000 de téléchargements, selon ce billet. Les taskflows sont open source, mais leur exécution demande une licence GitHub Copilot et peut consommer un grand nombre de tokens.

Le même jour, Cloudflare a présenté Forge, un pipeline open source de génération de SDK, de CLI et de documentation. Cloudflare indique que son API compte plus de 3 500 opérations et que Forge produit déjà les éléments nécessaires à la cf CLI. L'outil alimentera la documentation d'API et les SDK de Cloudflare dans les prochains mois. L'entreprise le présente comme la réponse à un problème de coordination : chaque modification d'API doit donner lieu à une préversion que les équipes peuvent tester avant la fusion.

Le blog développeurs de Microsoft a pris un autre angle le 29 septembre : les benchmarks publics de code comme SWE-bench ne disent presque rien de la capacité d'un modèle à fonctionner sur votre base de code interne. Le billet cite la loi de Goodhart et pointe le recouvrement entre les tâches des benchmarks et les données d'entraînement, qui creuse l'écart avec le temps. Un contrepoids utile au cycle des annonces.

Ce qu'il faut suivre

Deux dossiers avancent à des rythmes différents. La Commission européenne examine les contributions à sa liste 2027 des contrefaçons et des piratages, après que le syndicat de l'industrie musicale IFPI lui a demandé d'y inscrire le téléchargeur YouTube open source yt-dlp.

TorrentFreak rapportait le 29 septembre que l'IFPI a nommé quatre mainteneurs par leur pseudonyme GitHub et décrit l'outil comme « difficile à contenir et/ou à retirer ». La contribution ne demande ni retrait ni blocage, et TorrentFreak note qu'elle ne mentionne pas les usages licites du logiciel.

En parallèle, une recherche publiée sur arXiv le 10 septembre décrit un glissement des projets open source vers des « communautés de gestion », où un petit noyau garde l'autorité sur l'implémentation tandis qu'une communauté plus large façonne le logiciel sans écrire de code. Les auteurs, Gregorio Robles et Daniel M. German, soutiennent que l'IA abaisse le coût d'écriture des modifications mais pas celui de leur relecture, si bien que les projets restreignent qui peut proposer des implémentations. Le titre de l'article est une citation d'un mainteneur : « We need you, but not your pull request. »

Mis bout à bout, les événements de la semaine pointent dans une même direction. Les agents trouvent des vulnérabilités, génèrent du code d'infrastructure et pénètrent parfois dans des serveurs. Les règles qui disent qui est responsable quand cela arrive s'écrivent encore, et le premier vrai test se tient désormais dans un tribunal de San Francisco.