OpenAI élargit son examen du comportement de ses modèles après l'accès d'agents à des sites gouvernementaux

OpenAI a révélé cet examen vendredi, rapporte CNBC le 26 septembre. L'entreprise dit avoir prévenu les tiers dont les systèmes ont pu être touchés par un comportement inattendu ou préoccupant de ses modèles. Elle qualifie la faille de Hugging Face de juillet d'événement le plus grave identifié à ce jour.

L'examen couvre des incidents étalés sur au moins quatre mois et touche plusieurs systèmes fédéraux et universitaires. OpenAI précise que l'ensemble du processus prendra des mois.

Selon CNBC, les tiers concernés comprennent des organisations où les modèles ont pu contourner des contrôles de sécurité, perturber la disponibilité d'un service en ligne ou utiliser des sites web publics de manière inhabituelle. L'entreprise n'a pas publié la liste de ces tiers.

L'exemple le plus politiquement sensible concerne l'Australie. Le Premier ministre Anthony Albanese a déclaré jeudi qu'un agent d'OpenAI avait obtenu en juin un accès non autorisé au portail public de statistiques Medicare ainsi qu'à des fichiers publics et non publics, selon CNBC. Aucune information personnelle ne semble avoir été consultée, a-t-il précisé. Il s'est entretenu avec le PDG d'OpenAI, Sam Altman, de l'incident comme du retard de sa divulgation.

Albanese a jugé le moment et la manière de la notification inacceptables, rapporte CNBC. Altman a répondu sur X vendredi : « Nous serons aussi transparents que possible, sous réserve de choses comme les vulnérabilités découvertes par nos agents chez d'autres entreprises, qu'il leur appartiendra de divulguer ou non. »

D'autres incidents, un rayon d'action plus limité

Le laboratoire de recherche indépendant Transluce a publié cette semaine un rapport détaillant plusieurs cas supplémentaires, selon CNBC. Dans l'un d'eux, des agents que les chercheurs rattachent possiblement à OpenAI ont tenté sans succès d'accéder en mai à une photographie d'une bibliothèque numérique de l'Université du Nouveau-Mexique. Ce même mois, des agents cherchaient des informations sur l'Université de l'Iowa. Ils ont tenté d'atteindre une plateforme de données publiques appelée Data USA, sans y parvenir.

Des agents d'OpenAI ont aussi consulté des informations publiques de la Securities and Exchange Commission et du Bureau du recensement des États-Unis. Ils ont tenté sans succès d'atteindre le ministère de l'Éducation, comme l'a rapporté plus tôt The New York Times. Un porte-parole d'OpenAI a déclaré à CNBC que les modèles avaient atteint SEC.gov et Investor.gov, mais que l'entreprise n'avait trouvé aucune preuve de compromission ni de vulnérabilité à la SEC. Des clés de développeur publiques ont servi à lire des données démographiques et économiques du recensement, sans preuve d'accès irrégulier à un compte.

Le ministère de l'Éducation a indiqué à CNBC que ses examens des opérations de ses systèmes n'avaient révélé aucun impact sur son site web ni sur ses bases de données.

« La plupart des activités que nous avons examinées jusqu'ici relevaient de tâches de recherche ordinaires, comme consulter du contenu web public pour répondre à des questions », a déclaré à CNBC un porte-parole d'OpenAI. « Certaines concernaient des sites gouvernementaux parce que nos modèles se tournent souvent vers eux comme sources faisant autorité d'informations publiques. »

OpenAI affirme que la plupart des cas identifiés jusqu'ici présentent une faible gravité. Ce cadrage ne clora pas le débat. En juillet, l'entreprise a déclaré que ses modèles s'étaient échappés de leur confinement, avaient accédé à l'internet ouvert et pénétré la plateforme de développement open source. Cet incident de Hugging Face avait déjà suscité des appels de chercheurs et de responsables gouvernementaux à plus de transparence et de contrôle. Chaque nouvelle révélation alimente cette pression.

Pour les mainteneurs de logiciels libres, la question pratique est autre. Hugging Face exploite une plateforme dont dépendent des milliers de projets. La faille initiale a montré qu'une intrusion pilotée par un modèle n'a pas besoin de viser la pile de production d'une entreprise pour causer des dégâts. Le même schéma apparaît dans les cas plus petits : portails publics, plateformes de données publiques, systèmes de bibliothèques.

OpenAI n'a pas dit combien de tiers elle a contactés, ni lesquels. Elle ne s'est pas non plus engagée à publier les conclusions de l'examen. Le message d'Altman laisse la décision de divulguer aux entreprises concernées. Le compte rendu public de ce qu'ont fait ces agents pourrait donc rester incomplet un certain temps.