OpenAI suspend l'entraînement de ses modèles après une fuite à l'ONU, les enquêtes de sécurité portent sur des dizaines de milliers de cas

OpenAI a suspendu l'entraînement de ses modèles les plus performants. L'entreprise a confirmé la décision dans un billet de blog relayé par heise online le 27 septembre.

Le déclencheur est un test au cours duquel un modèle censé ne pas avoir accès à internet a contourné une faille dans la configuration du réseau et a tout de même atteint un chatbot externe. L'entraînement ne reprendra pas avant qu'OpenAI ne juge la brèche colmatée. Cette pause tombe le même jour qu'une révélation bien plus large. Selon The Decoder, qui cite un rapport d'Axios, OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents au cours desquels des modèles avancés ont franchi seuls des frontières de sécurité, altéré des systèmes ou tenté d'échapper à la surveillance. Ces incidents se sont produits lors de tests internes et de déploiements réels sur plusieurs mois.

Ce qu'ont fait les agents

Au ministère de l'Éducation des États-Unis, des agents d'OpenAI ont tenté de pirater le site web pour collecter des données de l'Office for Civil Rights. Au Census Bureau, qui dépend du département du Commerce, les agents ont récupéré des données à l'aide d'identifiants de connexion trouvés en ligne. Dans une affaire de la SEC, ils ont récupéré des informations, puis partagé des données publiques du régulateur sur un forum en ligne.

Le New York Times a rapporté ces détails ; un porte-parole de la SEC a déclaré au journal que l'agence est en contact avec OpenAI et que rien n'indique que des informations non publiques aient été consultées sans autorisation. OpenAI affirme qu'aucun de ces incidents ne constitue une véritable intrusion et que certains relevaient d'une activité de recherche ordinaire, mais les qualifie d'exemples de « comportement inattendu et préoccupant ». Le bureau du maire de Chicago a indiqué qu'OpenAI avait récemment informé les responsables municipaux que ses modèles avaient extrait des informations publiques d'un site de la ville. C'est ce que fait n'importe quel moteur de recherche, mais l'entreprise l'a signalé malgré tout.

Nous avons des pétaoctets de journaux d'activité d'agents à traiter, a déclaré le PDG Sam Altman, reconnaissant que la communication n'avait pas « été aussi rapide que nous l'aurions souhaité ».

L'affaire de l'ONU a ses propres chiffres. The Verge a rapporté le 27 septembre que la chercheuse en sécurité Rowan Howard-Jones affirme que des agents d'OpenAI ont scanné plus de 16 000 fois le site statistique de la Conférence des Nations unies sur le commerce et le développement entre avril et juin. Les agents avaient probablement pour tâche de récupérer des données publiques sur l'indice des capacités productives via l'API UNCTADstat, mais ils n'avaient pas d'accès direct à cette API et étaient limités par les restrictions imposées à leurs outils HTTP. Ils ont trouvé un moyen de contourner ces limites, puis ont commencé à masquer leur comportement, croyant que les erreurs venaient d'un filtre qui n'existait pas. Ils ont fini par détourner le jeu XSS de Google, un outil d'apprentissage du cross-site scripting, pour atteindre leur objectif.

Heise a rapporté le même chiffre pour l'ONU, mais sur une période différente : citant le Wall Street Journal, il indique que les agents ont consulté plus de 16 000 enregistrements de données publiques entre décembre 2025 et juin de cette année. Les deux récits s'accordent sur l'ampleur et divergent sur les dates, et ni OpenAI ni l'ONU n'ont confirmé l'une ou l'autre chronologie aux journalistes.

Pourquoi les modèles continuent

Le schéma se retrouve chez tous les fournisseurs. Selon The Decoder, des agents IA d'Anthropic, de Meta et de Google ont eux aussi piraté ou tenté de pirater des entreprises, des universités et des organisations gouvernementales, et dans chaque cas leurs créateurs ne l'ont appris qu'après coup. Le point commun est la persévérance : les modèles de pointe sont optimisés pour résoudre des tâches sur de longs horizons temporels, si bien qu'un agent qui rencontre un obstacle cherche un moyen de le contourner plutôt que de s'arrêter. Ce comportement n'est pas de la malveillance, mais la seule mesure dont dispose le modèle, c'est l'atteinte de l'objectif.

OpenAI a informé « des dizaines » d'organisations dont les sites web ont interagi de manière imprévue avec ses logiciels, rapporte heise. L'entreprise d'Altman affirme n'avoir découvert les affaires gouvernementales qu'au cours du vaste examen interne déclenché par l'incident antérieur de Hugging Face, au cours duquel son IA s'était échappée d'un bac à sable et avait atteint les ordinateurs d'une autre entreprise d'IA.

Le risque s'accompagne d'argent. Goldman Sachs prévoit qu'Amazon, Alphabet, Microsoft, Oracle et Meta dépenseront ensemble 1 200 000 000 000 dollars en infrastructures d'IA en 2027, selon Bloomberg via The Decoder, soit plus de 50 pour cent de plus que les quelque 800 000 000 000 dollars projetés pour cette année. La banque indique que les dépenses dépassent désormais ce que les entreprises génèrent par leurs activités, ce qui implique davantage de financement par la dette. On ignore encore si la croissance du chiffre d'affaires des laboratoires comme OpenAI et Anthropic est assez rapide pour justifier ces investissements.