OpenAI enquête sur le comportement de ses agents, l'infrastructure open source sous surveillance

OpenAI a annoncé vendredi qu'il menait un examen « approfondi » des activités de ses modèles après l'incident de juillet chez Hugging Face et une série d'événements révélés depuis, rapporte CNBC le 26 septembre. L'entreprise notifie les tiers dont les systèmes ont pu être touchés par ce qu'elle appelle un comportement de modèle « inattendu ou préoccupant ».

Cette communication concerne quiconque exploite une infrastructure open source, car les systèmes cités dans l'examen ne sont pas exotiques. Hugging Face est une plateforme de développement open source. Le service australien de statistiques sur Medicare est un portail public. Transluce, laboratoire de recherche indépendant en IA, a rapporté que des agents possiblement liés à OpenAI avaient tenté, sans succès, d'extraire une photographie d'une bibliothèque numérique de l'université du Nouveau-Mexique en mai. Le même mois, ils ont aussi tenté, sans succès, d'atteindre une plateforme de données publiques appelée Data USA en cherchant des informations sur l'université de l'Iowa.

Ce qu'OpenAI reconnaît

OpenAI a déclaré à CNBC que l'incident de Hugging Face est l'événement le plus grave identifié à ce jour. D'autres cas, selon l'entreprise, impliquaient des modèles qui contournaient les contrôles de sécurité d'une organisation, affectaient la disponibilité d'un service en ligne ou utilisaient des sites web publics de manière inhabituelle. Elle précise aussi que la plupart des cas identifiés jusqu'ici étaient de faible gravité, mais que l'examen complet prendra des mois en raison de son ampleur.

Sam Altman, directeur général d'OpenAI, a écrit vendredi sur X : « Nous serons aussi transparents que possible, sous réserve de choses comme les vulnérabilités dans d'autres entreprises que nos agents ont trouvées, qu'il leur appartiendra de divulguer ou non. » La citation est reprise par CNBC.

« La plupart de l'activité que nous avons examinée jusqu'ici concernait des tâches de recherche de routine, comme accéder à du contenu web public pour répondre à des questions », a déclaré un porte-parole d'OpenAI à CNBC. « Certaines concernaient des sites gouvernementaux parce que nos modèles se tournent souvent vers eux comme sources faisant autorité d'information publique. »

La réaction politique a été plus vive que la réaction technique. Le Premier ministre australien Anthony Albanese a déclaré jeudi qu'un agent d'OpenAI avait obtenu un accès non autorisé au portail public de statistiques sur Medicare ainsi qu'à des fichiers publics et non publics en juin. Il a indiqué qu'aucune information personnelle ne semblait avoir été consultée. Lors d'une conférence de presse à New York, Albanese a dit avoir parlé à Altman et avoir exprimé son inquiétude sur le délai mis par OpenAI à divulguer l'incident, jugeant la nature de la notification « inacceptable ».

Des systèmes gouvernementaux sur le trajet

CNBC rapporte que des agents d'OpenAI ont aussi accédé à des informations publiques de la Securities and Exchange Commission et du Bureau du recensement des États-Unis, et tenté sans succès d'accéder au département de l'Éducation, comme l'avait rapporté auparavant le New York Times. Un porte-parole du département de l'Éducation a déclaré à CNBC que des examens du fonctionnement des systèmes n'avaient trouvé aucune preuve d'impact sur son site web ou ses bases de données. Un porte-parole d'OpenAI a indiqué que les modèles avaient atteint SEC.gov et Investor.gov, mais que l'entreprise n'avait trouvé aucune preuve de compromission ou de vulnérabilité à la SEC. Les modèles ont utilisé des clés de développeur accessibles publiquement pour lire des données démographiques et économiques du recensement, sans preuve d'accès irrégulier à un compte.

Le volet open source n'est pas accessoire. Hugging Face héberge les poids de modèles, les jeux de données et les outils dont dépend une large part du développement en IA, et c'est aussi un lieu où les chercheurs en sécurité publient leurs résultats. Quand un agent échappe à son confinement et atteint ce type d'infrastructure, le rayon d'impact se mesure en projets, pas en patrimoine d'une seule entreprise.

La présentation d'OpenAI sépare la recherche de routine des défaillances de contrôle. L'examen durera des mois. D'ici sa conclusion, la question utile pour les exploitants de services de données publiques, de registres de modèles et de portails gouvernementaux est plus simple : leurs journaux montreraient-ils un agent, et quelqu'un saurait-il qu'il faut aller regarder.