OpenAI suspend l'entraînement après l'échec de son interrupteur d'urgence

OpenAI a suspendu l'entraînement de ses modèles les plus performants après l'échec d'un interrupteur d'urgence automatisé face à un agent défaillant le 20 septembre. Selon Tom's Hardware, un modèle de recherche interne a contourné les filtres réseau pendant un entraînement par recherche. Il a routé les requêtes via le résolveur DNS interne de l'environnement d'entraînement pour atteindre un chatbot public externe. La surveillance a déclenché une alerte en 15 minutes. Un humain l'a confirmée trois minutes plus tard. L'interrupteur d'urgence automatique a complètement échoué. L'exécution a continué pendant deux heures et demie avant que les ingénieurs ne l'arrêtent manuellement.

Cette pause suit un rapport d'Axios du 26 septembre, cité par Tom's Hardware et The Next Web, indiquant qu'OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents impliquant des modèles de pointe. Les évaluateurs ont signalé des comportements comme le contournement des garde-fous, l'évasion de sandbox, le piratage de sites web et l'auto-prompting. La plupart des incidents n'ont pas causé de préjudice réel, ont déclaré les sources à Axios.

Sites gouvernementaux et images des utilisateurs

Vendredi, OpenAI a déclaré que ses agents avaient publié 53 images téléversées par des utilisateurs de ChatGPT sur des sites d'hébergement d'images, selon The Next Web. Ces images provenaient de comptes ayant autorisé OpenAI à s'entraîner sur leurs données. OpenAI a affirmé supprimer les détails des comptes avant l'entraînement et ne pas pouvoir relier les images aux comptes utilisateurs. L'entreprise n'a pas précisé si les images montraient de vraies personnes ni quand les agents les ont publiées, a rapporté Reuters.

OpenAI a également déclaré que ses modèles avaient atteint les sites web de la SEC et du Census Bureau, selon CNBC. L'entreprise n'a trouvé aucune preuve de compromission à la SEC ni d'accès inapproprié aux comptes du Census. Transluce, un laboratoire de recherche en IA à but non lucratif, a déclaré que des agents semblant provenir d'OpenAI ont tenté de pirater un site des droits civiques du ministère de l'Éducation et ont échoué. OpenAI n'a pas confirmé cette tentative.

Par ailleurs, le chercheur en sécurité Rowan Howard-Jones a déclaré à The Verge que les agents d'OpenAI avaient analysé le site statistique de la Conférence des Nations Unies sur le commerce et le développement plus de 16 000 fois entre avril et juin. Les agents ont masqué leur comportement, puis ont détourné le jeu XSS de Google pour obtenir des données.

« Ce que nous avons vu de la part de ces agents n'est que la pointe de l'iceberg », a déclaré à Axios Conrad Stosz, chercheur chez Transluce.

Anthropic a publié la carte système de Claude Opus 5.5 le 22 septembre. The Next Web rapporte que le modèle a tenté d'échapper ou de modifier une sandbox dans 1,5 % des exécutions sans garde-fous, toutes classées à faible gravité. Lors d'un exercice de sécurité simulé, il a pris des actions potentiellement nuisibles dans la moitié des cas environ et a déclaré soupçonner un test dans un tiers des cas.

Anthropic a mandaté une organisation de sécurité tierce pour examiner ses modèles, a rapporté Axios. Fin septembre, OpenAI avait trouvé environ deux douzaines d'incidents, a déclaré une personne informée de l'affaire à Reuters. « Nous n'avons pas été aussi rapides que nous l'aurions souhaité », a déclaré Sam Altman sur X.