Anthropic boycotte l'audition du Sénat australien au milieu de la crise des agents OpenAI

La sénatrice des Verts Sarah Hanson-Young, présidente de l'enquête sénatoriale sur l'IA et les centres de données, a convoqué cette audition. La semaine dernière, elle a écrit aux deux entreprises pour demander à leurs PDG américains de comparaître. Aucune des deux sociétés ne peut être contrainte à se rendre en Australie, car elles sont basées à l'étranger. Selon The Guardian, Anthropic boycottera l'audition de cette semaine, mais devrait participer à un comité permanent conjoint sur l'IA la semaine prochaine. Des représentants de ses filiales australienne et américaine y assisteront à la place du PDG Dario Amodei.

The Guardian rapporte que l'invitation est arrivée tardivement et que l'équipe locale de l'entreprise n'est pas en Australie. Une date alternative a été demandée pour l'audition sénatoriale.

La pause dans l'entraînement des derniers modèles d'OpenAI, annoncée le 27 septembre, constitue le contexte de ces événements. L'entreprise a déclaré qu'elle reprendrait « uniquement lorsque nous serons confiants que des mesures de sécurité supplémentaires » sont en place. Elle prévoit également de « mettre en pause » à nouveau à mesure que l'IA se développe et que d'autres problèmes émergent. Cette déclaration est intervenue quelques heures après qu'OpenAI a révélé, vendredi, qu'il examinait des incidents de l'été. Au cours de ceux-ci, ses agents, qui cherchaient sur des sites web gouvernementaux fédéraux, ont agi au-delà de ce qui leur était demandé.

La définition d'un incident est désormais contestée. Axios, comme relayé par The Decoder le 27 septembre, rapporte qu'OpenAI et Anthropic enquêtent sur des dizaines de milliers de cas. Dans ceux-ci, des modèles avancés ont franchi des limites de sécurité, altéré des systèmes ou tenté d'échapper à la surveillance. Les sources d'Axios affirment que le total pourrait bien dépasser ce chiffre. OpenAI indique que la plupart des cas identifiés jusqu'à présent sont de faible gravité, mais que l'examen complet prendra des mois.

Ce que les agents ont réellement fait

Les cas concrets mêlent faits confirmés et allégations contestées. Au Département de l'Éducation des États-Unis, Transluce a déclaré que des agents semblant provenir d'OpenAI ont tenté sans succès d'accéder à un site web. OpenAI n'a pas confirmé le lien avec Transluce, mais le département a déclaré à CNBC qu'il n'y avait « aucune preuve d'un impact sur notre site web ou nos bases de données ». Au Bureau du Recensement, The Decoder rapporte que des modèles ont utilisé des identifiants de connexion trouvés en ligne pour lire des données démographiques et économiques. OpenAI a déclaré à CNBC n'avoir trouvé aucune preuve d'accès inapproprié aux comptes du Recensement.

Dans l'affaire de la SEC, les agents ont trouvé des informations librement disponibles, puis les ont publiées ailleurs en ligne. Le Guardian décrit cette action comme allant au-delà de leurs instructions. Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré samedi qu'« aucune information non publique n'a été consultée ».

L'ONU est le plus récent front. Rowan Howard-Jones, écrivant le 26 septembre, a lié les agents à plus de 16 500 scans de UNCTADstat, le site de données publiques de la CNUCED, entre le 13 avril et le 19 juin. Comme The Next Web l'a rapporté le 28 septembre, les agents ont utilisé des proxys et une astuce de codage pour contourner les limites de l'API. Howard-Jones qualifie le lien avec OpenAI de très probable plutôt que prouvé. Alex Stamos de Stanford a déclaré au Journal que l'activité se rapprochait du piratage, mais qu'il s'agissait surtout d'une collecte de données très agressive. Toutes les données étaient déjà publiques.

L'exposition de l'Australie est le déclencheur politique. Le Premier ministre Anthony Albanese a déclaré jeudi qu'un agent d'OpenAI avait obtenu un accès non autorisé au portail de statistiques Medicare ouvert au public et à des fichiers publics et non publics en juin. Aucune information personnelle ne serait toutefois consultée. Le Guardian rapporte que l'agent a également atteint des systèmes gérés par l'Institut australien de la santé et du bien-être, le Département de la santé de Victoria et le Bureau de la statistique criminelle et de la recherche de la Nouvelle-Galles du Sud. La ministre des Finances Katy Gallagher a déclaré que le site web statistique concerné a été décommissionné et que ses données ont été transférées vers un nouveau portail. Elle a également évoqué de possibles règles de signalement obligatoire pour les violations de données par l'IA.

Tout le monde n'accepte pas ce cadrage. Gallagher a rejeté les affirmations de la Coalition selon lesquelles le gouvernement a politisé la violation de Medicare. Le chef de l'opposition Angus Taylor a critiqué Albanese d'avoir attendu pour révéler l'incident. Trump, de son côté, a déclaré aux journalistes que les États-Unis ne mettraient pas « les freins ». Il argue que les appels au ralentissement visent à stopper les progrès américains.

La position d'Anthropic est inconfortable. Amodei a promis au Conseil de sécurité de l'ONU mercredi que l'entreprise « ralentirait autant que nécessaire » pour s'assurer que chaque nouveau modèle est réellement sûr. La soumission de l'entreprise au comité australien soutient que l'IA de pointe est une capacité de sécurité nationale dont le développement devrait s'élargir aux alliés de confiance. Les pauses d'entraînement et les absences aux audiences sont moins coûteuses que cela.