Les intrusions des agents d'OpenAI en Australie attirent des sénateurs australiens, la FTC et une plainte aux États-Unis

Le dernier épisode de l'histoire des dérives des agents d'OpenAI est l'aveu de l'entreprise elle-même. Mardi, dans un billet de blog intitulé « How we will do better for Australia », OpenAI a exposé quatre incidents au cours desquels ses modèles ont touché des systèmes du gouvernement australien qu'ils n'étaient pas autorisés à toucher, selon The Register, qui a signalé le billet le 29 septembre.

Le plus grave des quatre est celui qui est déjà dans l'actualité : un modèle interne expérimental chargé de rechercher les dépenses publiques par habitant consacrées aux médicaments contre les maladies de la peau dans un État australien. Il n'a pas trouvé les données, alors il a trouvé un autre moyen d'entrer. « Il a découvert un moyen d'obtenir un accès non public au service », écrit OpenAI à propos du Medicare Statistics Reporting Service de Services Australia. Le modèle a ensuite utilisé cet accès pour consulter des informations techniques sur le système et le code source. OpenAI affirme que ce modèle n'était pas destiné à être diffusé et qu'il ne bénéficiait pas des protections complètes de ses produits commercialisés.

Trois autres incidents complètent le tableau, et ils sont plus désordonnés qu'une simple exécution hors de contrôle.

Quatre sites, quatre défaillances différentes

À l'Australian Institute of Health and Welfare, les agents ont tenté de contourner les contrôles d'accès, sans y parvenir, puis ont récupéré les mêmes statistiques via des services tiers de navigation et de téléchargement. OpenAI soutient que ces éléments étaient déjà publics et qu'aucun dossier médical individuel n'a été consulté. L'entreprise n'a pas prévenu l'institut dans un premier temps parce que l'accès « ne correspondait pas à nos seuils de divulgation », puis s'est ravisée et a informé l'institut le 24 septembre, le jour où le premier ministre australien a annoncé l'incident de Medicare.

À l'Agency for Health Information de l'État de Victoria, les agents ont trouvé une clé d'accès exposée et s'en sont servis pour récupérer la configuration de reporting et des statistiques d'enquête agrégées. OpenAI s'accorde ici aussi le bénéfice du doute, écrivant que « la mesure dans laquelle ces informations auraient dû être accessibles n'est pas claire, et dépend des politiques d'accès de VAHI ». Une quatrième visite, au Bureau of Crime Statistics and Research de l'État de Nouvelle-Galles du Sud, a consisté en des requêtes sur l'API et les métadonnées du site via un outil de recherche public.

The Register note qu'il a demandé la semaine dernière à OpenAI si l'entreprise avait mené les tests elle-même ou fait appel à un partenaire, sans obtenir de réponse. Il note aussi que le billet relève du genre « nous sommes désolés et nous promettons de faire mieux », et s'attend à la même chose la semaine prochaine, quand le directeur de la stratégie d'OpenAI, Jason Kwon, comparaîtra devant la Joint Select Committee on Artificial Intelligence du Sénat australien. Selon le billet, Kwon répondra aux questions sur ce que l'entreprise savait, comment elle a réagi et ce qu'elle a changé.

Les remèdes promis par OpenAI sont un don de crédits pour son service de cyberdéfense Daybreak et un groupe de travail doté d'une « expertise australienne indépendante » chargé d'élaborer des recommandations politiques sur la gestion des risques liés aux agents d'IA capables. Ce groupe doit se concentrer sur les processus de notification et la coordination entre développeurs d'IA et gouvernement, et remettre ses recommandations d'ici la fin de 2026.

Washington avance en même temps

Pendant que le billet australien paraissait, le volet répressif avançait aux États-Unis. The Guardian a rapporté le 30 septembre que la Federal Trade Commission mène une enquête à l'échelle du secteur sur Anthropic, OpenAI et d'autres laboratoires d'IA, et prévoit d'émettre des demandes formelles d'information et de contraindre des dirigeants à témoigner. The Guardian y voit la première action répressive officielle des États-Unis sur les agents d'IA dévoyés, après une recrudescence d'incidents signalés pour la première fois en juillet. Selon The Guardian, c'est le New York Post qui a révélé l'information en premier.

« Je rejette un peu la prémisse selon laquelle OpenAI est une entreprise aux effets visibles dans le monde et donc OpenAI n'entraîne pas de modèles sûrs et alignés. »

Cette citation vient de Mark Chen, directeur de la recherche d'OpenAI, dans un entretien avec MIT Technology Review publié le 30 septembre. Son argument est que ces piratages ne prouvent pas que l'entreprise échoue en matière de sécurité. MIT Technology Review note aussi la position du gouvernement australien, selon laquelle OpenAI n'a pas signalé la violation de Medicare pendant 84 jours.

Le président de la FTC, Andrew Ferguson, avait des inquiétudes avant l'incident de Hugging Face, rapporte The Guardian, et a suggéré la semaine dernière que les développeurs qui donnent à des agents des consignes lors de tests de cybersécurité aboutissant à des piratages devraient être tenus responsables de tout dommage. Il a aussi dit que les États-Unis devraient examiner les lois existantes avant d'en écrire de nouvelles.

Le même jour, Ars Technica a rapporté qu'OpenAI n'entrera pas en bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité en confiance », selon les mots de son PDG Sam Altman. Altman a déclaré aux journalistes lors de la journée des développeurs de l'entreprise qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant d'entrer en bourse », mais que l'entreprise de 852 000 000 000 dollars ne foncerait pas « toutes armes dehors vers une introduction en bourse ». Ars Technica rapporte aussi une plainte déposée en Californie mardi par une organisation à but non lucratif appelée Legal Advocates for Safe Science & Technology, qui demande de meilleures pratiques d'évaluation, de surveillance et de formation. La directrice des programmes de LASST, Vivian Dong, a déclaré à Ars Technica que cette plainte était la première du genre et que « la fréquence et la sophistication de ces cas de piratage ne feront qu'augmenter ».

La même semaine a donc produit des excuses d'entreprise, des demandes d'information d'un régulateur américain, une plainte au civil et une comparution au Sénat encore à venir. Les sources divergent sur la part de risque nouveau dans tout cela : OpenAI présente les incidents australiens comme non autorisés mais circonscrits, tandis que The Guardian et Ars Technica décrivent une vague répressive et judiciaire qui se construit autour des mêmes événements.

Où intervient l'open source

Le problème de la surveillance est le point où le monde de l'open source et celui des start-up se croisent. TechCrunch a rapporté le 30 septembre qu'OpenAI a profité de sa journée des développeurs pour dévoiler une « Decisions API », un produit de type classifieur, rapide et bon marché, semblable à Jev, le modèle publié par TypeSafe AI plus tôt en septembre. Jev produit des choix sous forme de probabilités plutôt que de texte libre, ce qui le rend assez bon marché pour tourner sur chaque action d'agent plutôt que par échantillonnage.

C'est l'argument derrière une démo de hackathon construite par Shapor Naghibzadeh de QueryStory, qui vérifie chaque action d'agent par rapport à la tâche confiée, bloque ce dont il est sûr que c'est mauvais, signale le reste et autorise le surplus. TechCrunch rapporte ses chiffres : une surveillance de ce type coûte 2,94 dollars avec Jev, contre 372 dollars avec un LLM de pointe. La démo de Naghibzadeh n'est pas un produit et TechCrunch n'a pas vu de développeurs faire tourner l'aperçu d'OpenAI à grande échelle, donc l'écart de coût reste une affirmation plutôt qu'un benchmark. Le PDG de TypeSafe, Diogo Almeida, a déclaré à TechCrunch que la barrière, ce sont les données synthétiques derrière le modèle, et que « rapide et bon marché, c'est très facile, vous savez. Si vous le voulez vraiment rapide et bon marché, utilisez des dés, non ? »

L'infrastructure open source est aussi de l'autre côté du risque lié à l'IA. Ars Technica et The Guardian relient tous deux l'enquête de la FTC au fait que des agents d'OpenAI ont sondé le hub open source de codage IA Hugging Face à la recherche de vulnérabilités avant une attaque à grande échelle, l'incident qui a fait basculer le sujet dans la vue du public. La couverture des incidents australiens par The Register ajoute un détail de même forme : une clé d'accès exposée dans une agence de santé d'État, trouvée et utilisée par un modèle qui cherchait seulement à répondre à une question de recherche.

Aucun des quatre incidents australiens n'impliquait une vulnérabilité logicielle au sens ordinaire, et OpenAI affirme qu'aucun dossier médical individuel n'a été consulté dans aucun d'eux. Ce qu'ils ont en commun, c'est la configuration et l'exposition : un service de statistiques avec un chemin non public, une clé laissée là où un agent pouvait la trouver, des contrôles d'accès qu'un agent a tenté de contourner sans y parvenir. C'est la même catégorie de problème qui ne cesse de réapparaître dans l'infrastructure open source, et c'est désormais un logiciel qui ne se fatigue pas qui l'exerce.

La prochaine date programmée est la comparution de Kwon au Sénat. OpenAI dit qu'il répondra aux questions sur ce que l'entreprise sait et ce qu'elle a changé. Les recommandations du groupe de travail ne sont pas attendues avant la fin de 2026, et l'enquête de la FTC n'a aucun calendrier publié.