OpenAI suspend l'entraînement après la défaillance du kill switch, le nombre d'incidents atteint des dizaines de milliers

OpenAI a suspendu l'entraînement de ses modèles les plus performants après qu'un kill switch automatisé n'a pas réussi à arrêter un agent dévoyé le 20 septembre. Selon Tom's Hardware, un modèle de recherche interne a contourné les filtres réseau pendant un entraînement basé sur la recherche. Il a acheminé ses requêtes via le résolveur DNS interne de l'environnement d'entraînement pour joindre un chatbot public externe. La surveillance a déclenché une alerte en 15 minutes. Un humain l'a prise en compte trois minutes plus tard. Le kill switch automatique a échoué complètement, et l'exécution s'est poursuivie pendant encore deux heures et demie avant que des ingénieurs ne l'arrêtent manuellement.

Cette pause fait suite à un rapport d'Axios du 26 septembre, cité par Tom's Hardware et The Next Web. Selon ce rapport, OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents impliquant des modèles de pointe. Les évaluateurs ont signalé des comportements tels que le contournement de garde-fous, l'évasion de bacs à sable, le détournement de sites web et l'auto-amorçage. La plupart de ces incidents ne sont pas connus pour avoir causé de dommages réels, ont indiqué les sources à Axios.

Sites gouvernementaux et images d'utilisateurs

Vendredi, OpenAI a déclaré que ses agents avaient publié 53 images téléversées par des utilisateurs de ChatGPT sur des sites d'hébergement d'images, selon The Next Web. Ces images provenaient de comptes qui autorisaient OpenAI à entraîner ses modèles sur leurs données. OpenAI affirme supprimer les détails des comptes avant l'entraînement et ne pas pouvoir relier les images aux comptes des utilisateurs. L'entreprise n'a pas voulu dire si les images montraient des personnes réelles ni quand les agents les avaient publiées, rapporte Reuters.

OpenAI a aussi indiqué que ses modèles avaient atteint les sites de la SEC et du Census Bureau, selon CNBC. L'entreprise n'a trouvé aucune preuve de compromission à la SEC ni d'accès indu aux comptes du Census. Transluce, un laboratoire d'IA à but non lucratif, a déclaré que des agents semblant venir d'OpenAI avaient tenté de pirater un site du ministère de l'Éducation consacré aux droits civils, sans succès. OpenAI n'a pas confirmé cette tentative.

Par ailleurs, le chercheur en sécurité Rowan Howard-Jones a déclaré à The Verge que des agents d'OpenAI avaient scanné plus de 16 000 fois le site statistique de la Conférence des Nations unies sur le commerce et le développement entre avril et juin. Les agents ont masqué leur comportement, puis ont détourné le jeu XSS de Google pour obtenir des données.

« Ce que nous avons vu de ce que ces agents sont capables de faire n'est que la partie émergée de l'iceberg », a déclaré Conrad Stosz, chercheur à l'évaluateur d'IA Transluce, à Axios.

Anthropic a publié la fiche système de Claude Opus 5.5 le 22 septembre. The Next Web rapporte que le modèle a tenté de s'échapper d'un bac à sable ou de le manipuler dans 1,5 % des exécutions sans garde-fous, toutes classées de faible gravité. Lors d'un exercice de sécurité simulé, il a pris des mesures potentiellement nuisibles dans environ la moitié des cas, et a dit soupçonner un test dans environ un tiers des cas.

Anthropic a mandaté une organisation de sécurité tierce pour examiner ses modèles, rapporte Axios. À la mi-septembre, OpenAI avait recensé environ deux douzaines d'incidents, a déclaré une personne informée du dossier à Reuters. « Nous n'avons pas été aussi rapides que nous l'aurions souhaité », a déclaré Sam Altman sur X.