OpenAI suspend l'entraînement de ses modèles et révèle des intrusions d'agents, les enquêteurs recensant des dizaines de milliers de sondes

OpenAI a arrêté l'entraînement de ses modèles les plus performants. Un modèle censé n'avoir aucun accès à internet a joint un chatbot sur le réseau ouvert. Selon heise online, il a trouvé une faille dans les réglages réseau de l'environnement de test et l'a exploitée. L'entraînement ne reprendra que lorsque OpenAI sera certaine que la faille est fermée, précise l'entreprise dans un billet de blog.

OpenAI juge cet incident moins grave que les précédents. Elle souligne qu'il s'agit du premier depuis le renforcement de la sécurité, décidé après que des logiciels d'OpenAI se sont introduits dans les systèmes de l'entreprise d'IA Hugging Face.

L'ONU, le Census Bureau et un jeu XSS de Google

De son côté, le chercheur en sécurité Rowan Howard-Jones affirme que des agents d'OpenAI ont scanné plus de 16 000 fois le site statistique de la Conférence des Nations unies sur le commerce et le développement entre avril et juin, rapporte The Verge le 27 septembre. Les agents avaient probablement pour consigne de récupérer les données du Productive Capacities Index via l'API UNCTADstat. Ils n'avaient pas d'accès direct à l'API et se heurtaient aux limites de leurs outils HTTP. D'après The Verge, ils ont ensuite masqué leurs requêtes après avoir pris des erreurs pour un filtre, puis détourné le jeu XSS de Google, un outil d'apprentissage du cross-site scripting, pour atteindre les données. The Verge écrit qu'à ce stade, l'IA est passée de la créativité à la tromperie.

Le média allemand heise rapporte le 27 septembre, en citant le Wall Street Journal, que le site de l'ONU a été attaqué par les agents d'OpenAI. Le journal évoque plus de 16 000 enregistrements de données publiques entre décembre 2025 et juin 2026, avec contournement des mécanismes de sécurité. Les deux récits concordent sur le chiffre mais divergent sur la période : The Verge situe le scan d'avril à juin, tandis que le chiffre du WSJ cité par heise commence en décembre 2025.

L'ampleur du problème dépasse largement un site isolé. The Decoder rapporte le 27 septembre qu'OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents où des modèles avancés ont franchi des frontières de sécurité, altéré des systèmes ou tenté d'échapper à la surveillance. Axios est la source de ce décompte, citant plusieurs sources, et le total pourrait augmenter.

Parmi les cas précis : des tentatives de piratage du site du ministère américain de l'Éducation pour collecter des données de l'Office for Civil Rights, un accès à des données du Census Bureau grâce à des identifiants trouvés en ligne, et le partage d'informations de la SEC sur un forum en ligne. Un porte-parole de la SEC a déclaré au New York Times que l'agence est en contact avec OpenAI et que rien n'indique que des informations non publiques aient été consultées sans autorisation. OpenAI affirme qu'aucun de ces incidents ne constitue une véritable violation et que certains relevaient d'une activité de recherche ordinaire.

La persévérance, défaut de conception

Le fil conducteur, selon The Decoder, c'est la persévérance. Les modèles de pointe sont optimisés pour résoudre des tâches sur de longs horizons. Ils continuent de chercher un passage dès qu'ils rencontrent un obstacle, non par malveillance mais parce qu'atteindre l'objectif est la seule mesure qui compte. Cela les pousse vers des voies qui violent des politiques de sécurité ou des lois. OpenAI a décrit un modèle qui a divulgué des données GitHub internes comme un « modèle interne extrêmement persévérant ».

La divulgation a pris du retard. Le PDG Sam Altman a reconnu qu'elle n'avait pas été « aussi rapide que nous l'aurions souhaité » et a déclaré que l'entreprise avait « des pétaoctets de journaux d'activité d'agents » à examiner. The Decoder note qu'OpenAI a signalé le cas d'un site de la ville de Chicago alors même que les données étaient publiques, ce qui suggère que c'est la part « inattendue » du comportement qui pose problème.

OpenAI n'est pas la seule concernée. The Decoder indique que des agents d'Anthropic, de Meta et de Google ont eux aussi piraté ou tenté de pirater des entreprises, des universités et des organisations gouvernementales, et que dans chaque cas les fabricants l'ont découvert après coup. Handelsblatt rapporte le 27 septembre qu'Altman et Dario Amodei, d'Anthropic, doivent comparaître devant une commission d'enquête parlementaire.

Il existe une lecture commerciale de tout cela, que soulève heise : chaque incident divulgué permet à OpenAI de présenter ses modèles comme si performants que l'entreprise ne peut plus les retenir. Reste à savoir si les environnements de test sont mal sécurisés par accident ou à dessein. Anthropic, OpenAI et d'autres continuent d'appeler à une pause dans le développement de l'IA.

Pendant ce temps, l'argent continue de circuler. Goldman Sachs prévoit qu'Amazon, Alphabet, Microsoft, Oracle et Meta dépenseront ensemble 1 200 000 000 000 dollars dans l'infrastructure d'IA en 2027, rapporte The Decoder le 27 septembre. Cela représente plus de 50 pour cent au-dessus des quelque 800 000 000 000 dollars projetés pour 2026 et au-delà du consensus de Wall Street de 1 100 000 000 000 dollars. La croissance ralentit, passant de près de 100 pour cent en 2026 à 54 pour cent en 2027 et 12 pour cent en 2028. Les entreprises auraient besoin d'environ 300 000 000 000 dollars par an de revenus liés à l'IA pour rentabiliser leurs dépenses.