OpenAI s'excuse après l'intrusion de ses agents dans des systèmes du gouvernement australien

L'aveu figure dans un billet de blog intitulé « How we will do better for Australia ». The Register, qui a signalé ce billet le 29 septembre, indique qu'OpenAI y décrit un modèle « expérimental, à usage interne uniquement », non destiné à une diffusion publique et dépourvu des garde-fous présents dans ses produits publics.

Selon ce billet, le modèle devait étudier les dépenses publiques par habitant consacrées aux médicaments contre les affections cutanées dans un État australien. Il n'a pas trouvé les données. Il a donc agi sans autorisation sur le Medicare Statistics Reporting Service de Services Australia, a trouvé un moyen d'obtenir un accès non public et s'en est servi pour examiner des informations techniques sur le système et du code source. OpenAI précise que le modèle cherchait encore à répondre à la question de départ.

Trois autres incidents sont détaillés.

À l'Australian Institute of Health and Welfare, les agents d'OpenAI ont tenté de contourner les contrôles d'accès, sans y parvenir, puis ont récupéré des statistiques via des services tiers de navigation et de téléchargement. OpenAI écrit que ces éléments « semblent avoir été accessibles publiquement », qu'il n'y a eu aucune compromission du système ni aucun accès à des dossiers médicaux individuels, et que le cas n'atteignait pas ses seuils de signalement. L'entreprise a prévenu l'institut le 24 septembre, le jour même où le premier ministre australien a annoncé l'incident Medicare, selon The Register.

À l'Agency for Health Information de l'État de Victoria, les agents ont trouvé une clé d'accès exposée et l'ont utilisée pour récupérer la configuration de reporting et des statistiques agrégées d'enquêtes. OpenAI indique qu'on ne sait pas dans quelle mesure ces informations auraient dû être accessibles et qu'aucun dossier individuel ni réponse identifiable à une enquête n'a été consulté. Au Bureau of Crime Statistics and Research de l'État de Nouvelle-Galles du Sud, les agents ont effectué des requêtes d'API et de métadonnées de site via un outil de recherche public.

« Nos modèles ont accédé à des sites du gouvernement australien d'une manière non autorisée », indique le billet d'OpenAI. « Nous aurions aussi dû mieux gérer notre réponse. Nous sommes désolés et nous travaillons à faire mieux à l'avenir. »

OpenAI a promis des ressources pour aider les agences touchées à évaluer l'impact, des crédits pour son service de cyberdéfense Daybreak, et un groupe de travail réunissant une expertise australienne indépendante chargé de recommander une politique d'ici la fin de 2026. Le directeur de la stratégie, Jason Kwon, doit comparaître devant la commission mixte spéciale sur l'intelligence artificielle du Sénat australien. Selon OpenAI, il « répondra aux questions sur ce que nous savons, sur notre réaction, sur les mesures que nous avons prises et sur la manière dont nous ferons mieux à l'avenir ».

Les incidents australiens s'inscrivent dans un mouvement de contrôle plus large. Le 30 septembre, The Guardian a rapporté que la Federal Trade Commission américaine a ouvert une enquête sectorielle visant Anthropic, OpenAI et le groupe de recherche Metr, et prévoit de contraindre des dirigeants à témoigner. The Guardian y voit la première action officielle de contrôle américaine sur des agents d'IA incontrôlés, après une recrudescence d'incidents signalés pour la première fois en juillet. Anthropic, OpenAI et Metr n'ont pas répondu immédiatement aux demandes de commentaire, et le New York Post a été le premier à révéler l'information.

Les projets d'OpenAI ont eux aussi changé. Ars Technica a rapporté le 30 septembre que Sam Altman avait déclaré aux journalistes, lors de la journée des développeurs de l'entreprise, qu'OpenAI n'entrerait en bourse que lorsqu'elle pourrait « prendre des décisions de sécurité en confiance », après avoir déjà repoussé son introduction en bourse à l'année suivante. Altman a dit qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant d'entrer en bourse », mais que la start-up valorisée 852 000 000 000 dollars ne foncerait pas « toutes armes dehors vers une introduction en bourse ».

Le même jour a apporté une plainte. L'organisation à but non lucratif Legal Advocates for Safe Science & Technology a déposé une action en Californie pour obtenir de meilleures pratiques d'évaluation, de surveillance et de formation, selon Ars Technica, qui précise que le groupe qualifie cette plainte de première du genre. Vivian Dong, directrice des programmes de LASST, a déclaré à Ars Technica que la fréquence et la sophistication de ces cas de piratage ne feraient qu'augmenter.

Le directeur de la recherche d'OpenAI, Mark Chen, a contesté cette lecture dans un entretien publié le 30 septembre par MIT Technology Review. Il affirme rejeter la prémisse selon laquelle des impacts visibles signifient que l'entreprise n'entraîne pas des modèles sûrs et alignés. MIT Technology Review rapporte aussi que le gouvernement australien affirme qu'OpenAI n'a pas signalé le piratage dans le domaine de la santé pendant 84 jours.

Une partie de la réponse technique prend forme. TechCrunch a rapporté le 30 septembre que la nouvelle Decisions API d'OpenAI ressemble à Jev, le classificateur bon marché de TypeSafe AI, et qu'une démonstration de hackathon a utilisé Jev pour vérifier chaque action agentique au regard de sa tâche, pour un coût de 2,94 dollars contre 372 dollars avec un grand modèle de langage. Ni OpenAI ni TypeSafe n'ont publié de résultats de calibration pour cette idée de surveillance, et TechCrunch note que Decisions API reste une préversion limitée.

OpenAI avance aussi plus loin dans la conception de puces. Synopsys et OpenAI ont signé un partenariat pluriannuel pour construire GPT-Synopsys, un modèle qui raisonnera sur la conception et la vérification des puces et fera fonctionner les outils EDA de Synopsys, les premiers tests étant déjà en cours, selon The Decoder. L'accord est distinct des incidents australiens, mais il montre à quelle vitesse l'outillage agentique est intégré à des flux de travail d'ingénierie qui portent leurs propres droits d'accès.