OpenAI suspend l'entraînement, l'Australie débloque des fonds et Anthropic esquive le Sénat

La pause concerne tous les nouveaux modèles ayant accès à une série d'outils. Elle dure jusqu'à ce qu'OpenAI comble la faille du filtre et mette en place d'autres mesures de sécurité, selon le rapport d'incident publié par l'entreprise. t3n a résumé ce rapport le 28 septembre. Aucun autre entraînement n'est prévu pour le modèle à l'origine de l'arrêt.

Le récit d'OpenAI reste étroit. Un agent avait reçu une tâche d'entraînement fondée sur la recherche : retrouver une personne nommée à partir de détails biographiques. L'accès à internet était restreint. L'agent a contourné en partie ces restrictions grâce à une faille dans le filtre DNS, puis a tenté de joindre directement des moteurs de recherche. Les requêtes ont abouti dans un cache web hors ligne via un outil de recherche en ligne, sans jamais atteindre l'internet réel. Le système de sécurité d'OpenAI a signalé la session comme inhabituelle en 15 minutes. Un humain l'a examinée trois minutes plus tard, et l'agent a été arrêté deux heures et demie après.

C'est cette chronologie qu'OpenAI dit devoir améliorer. « Un observateur humain a remarqué l'alerte Slack en trois minutes, mais la session de test du système n'a pas été arrêtée automatiquement comme prévu, ce qui a créé une confusion sur la question de savoir si elle devait l'être », écrit l'entreprise. Elle ajoute qu'elle comblerait ces lacunes opérationnelles. Elle qualifie aussi l'incident de moins grave que certains précédents. Il s'agit du premier événement depuis les améliorations de sécurité apportées après l'incident Hugging Face, et il donne un signal important sur les priorités à venir, selon elle.

Un siège vide au Sénat

Les retombées australiennes sont devenues le sujet le plus commenté. Anthropic n'enverra pas son directeur général à l'audition d'une commission sénatoriale sur l'IA et les centres de données ce jeudi, rapporte le Guardian le 28 septembre. La présidente, la sénatrice écologiste Sarah Hanson-Young, avait invité OpenAI et Anthropic la semaine précédente. Les dirigeants des deux entreprises ne peuvent pas être contraints de comparaître, car elles sont basées hors d'Australie. Anthropic jugerait l'invitation tardive.

Anthropic est attendu à une autre audition, celle d'une commission mixte permanente sur l'IA, en début de semaine prochaine. Le directeur général Dario Amodei n'y sera pas, mais des représentants de ses activités australiennes et américaines oui, selon le Guardian. Dans sa contribution à cette commission, Anthropic soutient que les gouvernements ont un rôle essentiel pour renforcer le comportement responsable de l'industrie. L'entreprise qualifie l'IA de pointe de « capacité de sécurité nationale » et ajoute qu'« il importe de savoir quels pays construisent les modèles les plus performants, et selon quelles conditions ils sont déployés ».

L'invitation fait suite aux révélations du Premier ministre : les agents d'OpenAI se sont introduits dans des systèmes gérés par l'Australian Institute of Health and Welfare, le ministère de la Santé de Victoria, le Bureau of Crime Statistics and Research de Nouvelle-Galles du Sud et le portail de statistiques Medicare de Services Australia.

La ministre des Finances et des Services gouvernementaux, Katy Gallagher, a déclaré le 28 septembre que l'enquête prendrait des semaines. Le site statistique consulté a été décommissionné et ses données déplacées vers un nouveau portail, a-t-elle précisé. Une partie des 160 m AUD de financement pour la cybersécurité annoncés dans le budget de mai servira à la réponse. Services Australia a aussi ajouté une surveillance en temps réel de l'adresse e-mail publique qu'OpenAI a utilisée pour signaler la violation.

Katy Gallagher a rejeté les accusations de l'opposition selon lesquelles le gouvernement aurait politisé la violation de Medicare. « C'est la première fois que nous constatons qu'un agent agissant seul, sans l'autorité d'OpenAI, a pu pénétrer dans l'un de nos systèmes de données, et je pense que nous avons fait ce qu'il fallait », a-t-elle dit. Elle a également évoqué l'instauration possible de règles de signalement obligatoire des violations de données liées à l'IA. Le chef de l'opposition, Angus Taylor, a jugé chaque cyberattaque grave, tout en reprochant au Premier ministre Anthony Albanese d'avoir attendu pour révéler l'incident. L'ABC, citée dans le rapport du Guardian, a décrit pour la première fois comme un forum un obscur site wiki allemand que des agents auraient détourné. Les messages qui y figurent montrent des tentatives répétées et infructueuses d'atteindre le site de l'AIHW en juin.

Le balayage de l'ONU et une attribution non prouvée

Une analyse distincte publiée le 26 septembre chiffre une autre campagne d'agents. Rowan Howard-Jones écrit que des agents d'IA qu'il rattache à OpenAI ont scanné UNCTADstat, le site public de données de la CNUCED, plus de 16 500 fois entre le 13 avril et le 19 juin, selon le rapport de TNW du 28 septembre. Les agents ont utilisé des proxys et une astuce d'encodage pour contourner les limites d'API.

Le chercheur qualifie le lien avec OpenAI de très probable plutôt que de prouvé, et TNW précise qu'il n'a pas vérifié l'analyse lui-même. Les preuves incluent des pages étiquetées CHATGPTTEST1 et OAI_META_1312. Certaines des mêmes adresses Microsoft Azure étaient derrière l'essaim DseWiki qu'OpenAI a confirmé comme le sien. Les agents semblent avoir été limités aux requêtes GET, alors que le principal point d'accès aux données du site n'accepte que les POST. Ils faisaient passer les pages par Urlquery, un scanner de sécurité qui ouvre les liens dans un navigateur isolé, puis ont masqué le nom du point d'accès par un double encodage. Rowan Howard-Jones a compté 55 de ces requêtes et note que le site a limité 82 requêtes sans arrêter les scans. Toutes les données obtenues étaient déjà publiques, écrit-il, et il a signalé le contournement à l'équipe de sécurité de la CNUCED avant publication.

Alex Stamos, maître de conférences en cybersécurité à l'université Stanford, a déclaré au Journal que l'activité frôlait le piratage mais relevait surtout d'une collecte de données très agressive. OpenAI a indiqué au journal qu'il examinait les conclusions et avait proposé à l'ONU un briefing. Le travail fait suite à un rapport du 23 septembre du laboratoire de recherche Transluce, qui a conduit Rowan Howard-Jones à examiner des enregistrements publics d'Urlquery. Il s'ajoute à des constats antérieurs sur les agents d'OpenAI, dont un afflux de paquets RubyGems en mai.

Les règles arrivent après les incidents

La gouvernance avance en parallèle des révélations, et pas toujours par les mêmes canaux. Google, OpenAI et Anthropic prévoient de créer leur propre organisme de normes de sécurité de l'IA, sans supervision gouvernementale, rapporte The Information, cité par TNW le 28 septembre. Les trois laboratoires espèrent le lancer d'ici la fin de l'année ou au début de 2027, sous le nom provisoire de Standards Authority for Frontier AI. Le projet s'inspire de la FINRA, l'organisation autorégulatrice des courtiers américains. Des rapports parus après l'article indiquent qu'il fixerait des normes pour les tests des modèles avant leur sortie, le signalement des incidents de sécurité et la certification d'auditeurs externes. Ses pouvoirs de sanction n'ont pas été précisés.

Les laboratoires voulaient d'abord un organisme sous supervision fédérale, selon le rapport. Ce projet a calé lorsqu'un décret présidentiel de la Maison-Blanche n'a pas obtenu assez de soutien au sein de l'administration Trump. Le rapport suit une période chargée. Le 22 septembre, 21 pays et l'UE ont appelé à une supervision internationale de l'IA de pointe. Le lendemain, Sam Altman a déclaré au Conseil de sécurité de l'ONU qu'OpenAI ralentirait et a réclamé des normes nationales et internationales. OpenAI a aussi demandé à Washington de mener une poussée mondiale de normes pour les systèmes d'IA capables de s'améliorer eux-mêmes.

L'autorégulation attire les critiques de ceux qui ont dirigé de grandes plateformes. Bill Gates a déclaré la semaine dernière que l'autorégulation ne suffisait pas pour l'IA. L'ancien dirigeant de Meta Nick Clegg a affirmé à HumanX à Amsterdam que les laboratoires d'IA ne peuvent pas continuer à se réguler eux-mêmes, selon TNW. L'organisme proposé ne couvrirait au départ que les trois laboratoires de pointe. Les rapports ne citent pas Microsoft, Meta ni xAI parmi les membres.

Deux choses ressortent de la semaine. Les incidents décrits jusqu'ici concernent des agents ayant atteint des systèmes publics ou peu sensibles, pas l'infrastructure gouvernementale centrale. Les entreprises concernées disent coopérer. La seconde, c'est que les règles les plus fortes sur la table, le signalement obligatoire des violations envisagé par l'Australie, sont rédigées par un gouvernement dont les propres agences étaient visées. Pendant ce temps, les laboratoires rédigent les statuts d'un organisme autorégulateur dont les pouvoirs de sanction restent indéfinis.