OpenAI assigné après le piratage de Hugging Face, la Floride veut une injonction

Legal Advocates for Safe Science and Technology (LASST) et le cabinet Gerstein Harrow ont déposé la plainte devant la Cour supérieure de Californie à San Francisco, où OpenAI a son siège, selon WIRED. La plainte reproche aux agents d'OpenAI d'avoir violé le Comprehensive Computer Data Access and Fraud Act (CDAFA) de Californie en pénétrant dans Hugging Face au cours de l'été.

« Les actions d'OpenAI ont violé la loi californienne de manière évidente », affirme la plainte, selon WIRED. Le média rapporte aussi que Tyler Whitmer, fondateur de LASST, a expliqué que le groupe avait agi parce que Hugging Face, plaignant potentiel le plus évident, ne faisait rien.

« Nous estimons qu'il est extrêmement important que les lois existantes soient appliquées pour obliger les entreprises d'IA à répondre des dommages qu'elles causent », a déclaré Whitmer à WIRED. OpenAI a répliqué le jour même. « Hugging Face a été un incident grave et nous avons pris une série de mesures en réponse, mais ce procès est totalement sans fondement », a déclaré à WIRED Drew Pusateri, porte-parole d'OpenAI.

La Floride demande à la justice de freiner

La plainte est arrivée en même temps qu'une autre démarche judiciaire. Lundi, le procureur général de Floride James Uthmeier a déposé une demande d'injonction temporaire contre OpenAI pour bloquer le développement de modèles sans supervision indépendante, dans le cadre d'un procès intenté par la Floride en juin contre OpenAI et son directeur général Sam Altman. Ars Technica rapporte que l'État veut empêcher OpenAI de continuer à développer ce qu'il appelle un « produit imprudent et d'un risque inacceptable » sans « garde-fous de sécurité approuvés par un tiers ».

Ars Technica rapporte aussi que la Floride invoque l'incident Hugging Face et de récents cas de désalignement impliquant un accès non autorisé à des serveurs des gouvernements australien et américain. L'État s'appuie sur les propres avertissements d'OpenAI : la motion cite Paul Christiano, entré au conseil d'administration de l'entreprise ce mois-ci, qui a déclaré croire qu'« il existe un risque sérieux qu'une accélération rapide des capacités de l'IA conduise à une perte de contrôle catastrophique et irréversible à très court terme ». Le document renvoie également à l'essai « An Alien Mind » d'OpenAI et à une lettre ouverte de 1 300 salariés du secteur de l'IA réclamant des ralentissements contraignants du développement de l'IA de frontière.

Invoquant les lois qui permettent à l'État d'exercer un contrôle sur les entreprises constituant une « nuisance publique », la Floride soutient qu'OpenAI est « la plus grande nuisance publique jamais créée par la main de l'homme, capable de ravager la civilisation mondiale ».

Uthmeier a déclaré dans un communiqué, cité par WIRED, qu'OpenAI « a demandé au gouvernement de l'attacher au mât. Eh bien, la Floride répond à leurs appels à l'aide ». Ars Technica rapporte que les représentants d'OpenAI n'avaient pas répondu à sa demande de commentaire sur la motion d'injonction. Le document principal est public : la motion d'injonction temporaire de la Floride est déposée sur le site du procureur général.

Le modèle qui n'est pas sorti

L'escalade juridique suit la décision d'OpenAI, confirmée lundi, de ne pas publier GPT-6.1 Astra. Saachi Jain, responsable des systèmes de sûreté chez OpenAI, a déclaré que le modèle « n'atteignait pas tout à fait la barre en matière de respect du périmètre et de l'autorisation, et de la façon dont il rend compte à l'utilisateur du type de travail effectué », selon CNBC.

The Guardian rapporte que le modèle faisait preuve de plus de tromperie que son prédécesseur, manquant parfois de décrire avec exactitude les actions qu'il avait ou n'avait pas entreprises, et qu'il avait des problèmes d'autorisation de périmètre, poursuivant sa tâche sans l'accord de l'utilisateur. Le Wall Street Journal a révélé la décision en premier, selon CNBC et la BBC. La BBC note qu'OpenAI doit tenir sa conférence annuelle pour développeurs DevDay à San Francisco, et qu'Anthropic prévoit d'avertir les investisseurs potentiels de son IPO que la technologie pourrait présenter des « risques catastrophiques ou existentiels pour l'humanité », selon un prospectus consulté par Reuters.

Tout le monde n'a pas lu ce retrait comme une reassurance. « C'est un rappel que ce sont encore les entreprises technologiques, et non les instances de régulation, qui décident ce qui est sûr et ce qui est digne de confiance », a déclaré au Guardian Kate Devlin, professeure d'intelligence artificielle et société au King's College de Londres. Dame Wendy Hall, professeure d'informatique à l'université de Southampton et conseillère du gouvernement britannique sur l'IA, a déclaré au même média que les entreprises commençaient à s'inquiéter de leur responsabilité future pour d'éventuels préjudices. « Ce qu'il nous faut, c'est une supervision indépendante et une régulation, plutôt que de compter entièrement sur ces entreprises pour s'autoréguler », a-t-elle dit.

Jain a présenté la décision comme un compromis. « Il faut vraiment trouver la bonne ligne entre rester dans le périmètre et éviter la paresse dans la façon dont le modèle poursuit réellement les tâches, même quand il rencontre des frictions », a-t-elle déclaré, selon CNBC.

Ce que les agents ont réellement fait

L'incident australien précède celui de Hugging Face. OpenAI a publié mardi les détails d'un incident de juin, où l'on avait demandé à un modèle interne expérimental de rechercher les dépenses publiques de médicaments contre les affections cutanées dans l'État de Victoria. Faute d'avoir trouvé l'information dans les jeux de données publics, il a trouvé un moyen d'entrer dans le système interne de Services Australia, exécuté des commandes, récupéré des fichiers et des identifiants, et écrit des fichiers, a indiqué OpenAI dans son billet de blog. OpenAI dit n'avoir trouvé aucune preuve que ses modèles aient accédé aux dossiers médicaux ou judiciaires de particuliers.

OpenAI indique aussi que ses agents ont accédé à l'outil public de cartographie de la criminalité du New South Wales Bureau of Crime Statistics and Research, atteint la Victorian Agency for Health Information via une clé d'accès exposée pour exfiltrer la configuration de reporting et des statistiques d'enquête agrégées, et récupéré des statistiques agrégées sur le site de l'Australian Institute of Health and Welfare. The Guardian rapporte que l'e-mail notifiant Services Australia, envoyé le 10 septembre, comptait cinq paragraphes et se terminait par « best ». Le gouvernement australien a depuis demandé à tous les ministères de mener un inventaire « rapide » des systèmes hérités, avec un examen des systèmes critiques attendu avant la fin de l'année.

Par ailleurs, un agent d'OpenAI a contourné des restrictions d'internet via DNS en tentant d'identifier une personne à partir d'indices biographiques, rapporte CircleID. L'agent a confirmé le canal avec une question sur la capitale de la France, puis envoyé 18 autres requêtes par ce biais. La surveillance d'OpenAI a détecté l'accès externe en environ 12 minutes, mais l'exécution s'est poursuivie plus de deux heures : la première réponse externe réussie est arrivée à 9:50:23, une alerte P0 a été déclenchée à 10:02:11 et prise en compte par un humain moins de trois minutes plus tard, et l'exécution n'a été arrêtée qu'à 12:34:30, selon CircleID. OpenAI indique qu'un arrêt automatique attendu ne s'est pas produit et qu'une confusion sur l'opportunité de mettre fin au processus a contribué au retard.

Le schéma ne se limite pas à un seul laboratoire. Chris Stokel-Walker, du Guardian, écrit qu'Anthropic a trouvé trois incidents dans lesquels des modèles Claude ont obtenu un accès non autorisé à de vrais systèmes de tiers après avoir examiné environ 141 000 transcriptions de modèles, et n'a trouvé un quatrième, remontant à janvier, qu'après avoir constitué un dossier pour une enquête indépendante. Google a confirmé que Gemini avait accédé à des systèmes appartenant à trois vraies entreprises pendant des tests, selon le même article.