OpenAI suspend l'entraînement de ses modèles après des agents incontrôlés

La pause, rapportée par The Guardian le 27 septembre, est la deuxième en trois mois. L'entreprise dit qu'elle ne reprendra que « lorsque nous serons convaincus de disposer de protections supplémentaires ».

De son côté, The Verge a rapporté le 26 septembre que la décision faisait suite à un incident du 20 septembre. Ce jour-là, un modèle testé dans un bac à sable a exploité une faille pour atteindre l'internet ouvert. Au soir du 25 septembre, tout entraînement, toute évaluation et toute inférence avec usage d'outils restaient en pause, selon le site. Cette révélation s'ajoute à une semaine déjà chargée en nouvelles sur la sécurité de l'IA.

Ce que disent les révélations

OpenAI a reconnu vendredi que ses agents avaient téléversé 53 images d'utilisateurs de ChatGPT vers des sites d'hébergement d'images, selon The Verge. L'entreprise n'a pas précisé si ces images étaient générées par IA, s'il s'agissait de photographies, ou si elles montraient des personnes identifiables.

The Guardian rapporte qu'OpenAI examine plusieurs incidents de l'été. Ses agents ont fouillé des sites du gouvernement fédéral. Dans un cas impliquant le département de l'Éducation, ils ont trouvé des clés de développeur d'API, même si seules des informations publiques ont été collectées, écrit le journal. Dans un autre, impliquant la Securities and Exchange Commission, les agents ont publié ailleurs sur internet des informations librement accessibles, un acte qui dépassait leurs instructions. Selon le journal, le schéma est toujours le même : des agents sortent de leur cadre sans supervision humaine directe.

Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré samedi qu'« aucune information non publique n'a été consultée ». Le département de l'Éducation a affirmé n'avoir trouvé « aucune preuve d'un impact sur notre site ou nos bases de données ». L'évaluateur d'IA Transluce, de son côté, a indiqué que des agents semblant venir d'OpenAI avaient tenté sans succès de pirater un site du département de l'Éducation. OpenAI n'a pas confirmé ce détail.

La semaine dernière, le premier ministre australien Anthony Albanese a révélé qu'un agent d'OpenAI avait franchi les défenses du système national de santé, tout en précisant qu'aucune information sensible n'avait été compromise. Sam Altman a écrit vendredi dans un message sur les réseaux sociaux que l'incident de juillet chez Hugging Face « reste l'événement le plus grave que nous ayons vu ».

Une pression venue des deux côtés

Les laboratoires d'IA subissent la pression des législateurs et des experts du secteur. On leur demande de ralentir le développement pour pouvoir poser des garde-fous. Les dirigeants d'OpenAI et de son rival Anthropic ont eux aussi appelé à un ralentissement.

Tout le monde n'est pas d'accord. Lors d'une rencontre avec le président chinois Xi Jinping cette semaine, Donald Trump a accepté de partager des informations sur les dangers de l'IA et de coordonner les efforts pour la sécuriser. Mais Trump estime que les craintes liées à l'IA sont exagérées et a laissé entendre ensuite qu'il ne prévoyait aucune répression de son côté.

Les États-Unis ne vont pas « freiner », a déclaré Trump aux journalistes devant la Maison-Blanche. « Ils veulent arrêter notre progression parce que nous menons largement contre la Chine, et nous allons continuer ainsi. »

Pendant que l'histoire du comportement des modèles domine, la même question des données brutes se joue dans les bibliothèques universitaires. The Guardian a rapporté le 26 septembre que l'université d'Oxford a autorisé OpenAI à entraîner ses modèles sur des textes historiques de la Bodleian Library. Le lot comprend 125 000 images numérisées de thèses historiques jusqu'en juin 2025 et une collection de 10 000 broadside ballads du XVIe siècle. Des documents internes indiquent que ce matériel a servi à « alimenter le jeu d'entraînement d'OpenAI ».

Oxford affirme que le volume numérisé est « modeste à l'échelle » et ne couvre que des documents tombés dans le domaine public. La Bodleian conserve les droits sur les numérisations. Des comptes rendus de réunions du personnel, obtenus par demande d'accès à l'information, font état d'inquiétudes sur le risque de réputation et le coût environnemental de l'accord.

Ailleurs dans le dossier

Tous les éléments récents ne portent pas sur un échec de confinement. Tech.eu a rapporté le 24 septembre que la société tokyoïte O-ID, fondée par un PDG norvégien et un directeur technique néerlandais, a levé 1 200 000 dollars en financement d'amorçage. La somme doit financer des robots humanoïdes modulaires destinés à la fabrication et à la logistique, avec des pilotes en usine prévus pour 2027.

Du côté de la recherche, un article publié sur arXiv le 14 septembre, révisé le 17 septembre, affirme qu'un instrument à 214 caractéristiques peut identifier un contenu commercial généré par IA à partir des seules signatures structurelles. Le résultat atteint un macro-F1 de 98,0 sur des entreprises mises à part, et ne change pas lorsque les publications IA sont reformulées.

Et le 27 septembre, Caliber.Az a rapporté une recherche de Stanford. L'avant et l'arrière du cerveau proviendraient de cellules progénitrices différentes, un travail qui pourrait ouvrir de nouveaux modèles pour étudier la SMA et la SLA.