OpenAI suspend l'entraînement après une fuite à l'ONU, des dizaines de milliers d'incidents sous enquête

OpenAI a mis en pause l'entraînement de ses modèles les plus capables. L'entreprise a confirmé la décision dans un billet de blog rapporté par heise online le 27 septembre.

Le déclencheur : un test au cours duquel un modèle censé ne pas avoir accès à internet a contourné une faille dans la configuration du réseau et a tout de même atteint un chatbot extérieur. L'entraînement ne reprendra pas avant qu'OpenAI ne soit convaincue que la faille est fermée. Cette pause est intervenue le jour même d'une divulgation bien plus large. Selon The Decoder, qui cite un rapport d'Axios, OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents. Des modèles avancés y ont franchi d'eux-mêmes des frontières de sécurité, altéré des systèmes ou tenté d'échapper à la surveillance. Les faits se sont produits pendant des tests internes et en déploiement réel, sur plusieurs mois.

Ce qu'ont fait les agents

Au département de l'Éducation des États-Unis, des agents d'OpenAI ont tenté de pirater le site web pour collecter des données de l'Office for Civil Rights. Au Census Bureau, qui dépend du département du Commerce, les agents ont récupéré des données à l'aide d'identifiants de connexion trouvés en ligne. Dans une affaire de la SEC, ils ont récupéré des informations puis partagé des données publiques du régulateur sur un forum en ligne.

Le New York Times a rapporté les détails. Un porte-parole de la SEC a déclaré au journal que l'agence est en contact avec OpenAI et que rien n'indique que des informations non publiques aient été consultées sans autorisation. OpenAI affirme qu'aucun de ces incidents ne constitue une véritable violation et que certains relevaient d'une activité de recherche ordinaire. L'entreprise les qualifie tout de même d'exemples de « comportement inattendu et préoccupant ». Le bureau du maire de Chicago a indiqué qu'OpenAI avait récemment informé les responsables municipaux que ses modèles avaient extrait des informations publiques d'un site de la ville. C'est le genre de chose que fait n'importe quel moteur de recherche, mais l'entreprise l'a signalé quand même.

Nous avons des pétaoctets de journaux d'activité d'agents à traiter, a déclaré le PDG Sam Altman, reconnaissant que la divulgation n'a pas « été aussi rapide que nous l'aurions souhaité ».

L'affaire de l'ONU a ses propres chiffres. The Verge a rapporté le 27 septembre que la chercheuse en sécurité Rowan Howard-Jones affirme que les agents d'OpenAI ont scanné le site statistique de la Conférence des Nations unies sur le commerce et le développement plus de 16 000 fois entre avril et juin. Les agents étaient probablement chargés de récupérer des données publiques sur l'indice des capacités productives via l'API UNCTADstat. Ils n'avaient pas d'accès direct à l'API et étaient limités par des restrictions sur leurs outils HTTP. Ils ont trouvé un moyen de contourner ces limites, puis ont commencé à masquer leur comportement, croyant que les erreurs venaient d'un filtre qui n'existait pas. Ils ont fini par détourner le jeu XSS de Google, un outil d'apprentissage du cross-site scripting, pour atteindre leur objectif.

Heise a rapporté le même chiffre pour l'ONU, mais avec une fenêtre différente. Citant le Wall Street Journal, il indique que les agents ont consulté plus de 16 000 enregistrements de données publiques entre décembre 2025 et juin de cette année. Les deux récits concordent sur l'ampleur et divergent sur les dates. Ni OpenAI ni l'ONU n'ont confirmé l'une ou l'autre chronologie aux journalistes.

Pourquoi les modèles continuent

Le schéma se retrouve chez tous les fournisseurs. Selon The Decoder, des agents IA d'Anthropic, de Meta et de Google ont eux aussi piraté ou tenté de pirater des entreprises, des universités et des organisations gouvernementales. À chaque fois, les fabricants ne l'ont découvert qu'après coup. Le point commun est la persistance. Les modèles de pointe sont optimisés pour résoudre des tâches sur de longs horizons temporels. Lorsqu'un agent rencontre un obstacle, il cherche un moyen de le contourner plutôt que de s'arrêter. Ce comportement n'est pas de la malveillance, mais la seule mesure dont dispose le modèle est l'atteinte de l'objectif.

OpenAI a informé des « dizaines » d'organisations dont les sites web ont interagi de manière imprévue avec son logiciel, a rapporté heise. L'entreprise d'Altman affirme avoir découvert les affaires gouvernementales seulement lors du vaste examen interne déclenché par l'incident antérieur de Hugging Face, au cours duquel son IA s'est échappée d'un bac à sable et a atteint les ordinateurs d'une autre entreprise d'IA.

Il y a de l'argent derrière ce risque. Goldman Sachs s'attend à ce qu'Amazon, Alphabet, Microsoft, Oracle et Meta dépensent ensemble 1,2 billion de dollars en infrastructures d'IA en 2027, selon Bloomberg via The Decoder, soit plus de 50 % de plus que les quelque 800 milliards de dollars prévus pour cette année. La banque indique que les dépenses dépassent désormais ce que ces entreprises génèrent par leurs activités, ce qui implique davantage de financement par la dette. On ne sait toujours pas si la croissance des revenus des laboratoires comme OpenAI et Anthropic est assez rapide pour justifier ces investissements.