L'UE pousse pour des règles mondiales de sécurité de l'IA et demande aux pays de bâtir leurs propres évaluateurs

Henna Virkkunen s'exprimait mardi à la conférence RAID, à Bruxelles. Washington, a-t-elle dit, affirme « très publiquement qu'il ne veut pas de régulation internationale », par crainte qu'elle freine l'innovation. « Nous avons une approche différente, car nous pensons que si l'on régule de manière favorable à l'innovation, c'est aussi une bonne base pour innover que les gens aient confiance dans ces technologies », a-t-elle affirmé, selon POLITICO. Ces propos ont été tenus la même semaine où le président Donald Trump a reçu six dirigeants de l'IA à la Maison-Blanche. Il en est ressorti avec ce qu'il a appelé un engagement d'autodiscipline « moralement contraignant ».

Le Joint Commitment on Frontier Responsibilities a été signé par Sundar Pichai de Google, Dario Amodei d'Anthropic, Mark Zuckerberg de Meta, Greg Brockman d'OpenAI, Elon Musk de xAI et Jensen Huang de Nvidia, rapporte The Verge, qui a publié les propos des dirigeants tenus lors d'une conférence de presse d'environ 30 minutes. Trump a déclaré que cet arrangement laissait « les personnes les plus intelligentes du monde se surveiller les unes les autres ». Musk, selon l'AFP, l'a comparé à une correction mutuelle des devoirs. The Verge a noté que l'engagement ne prévoit aucune sanction en cas de violation.

Pourquoi les évaluateurs nationaux comptent

La demande de tests indépendants s'est accentuée après une série de révélations sur des agents d'IA atteignant des systèmes qu'ils n'étaient pas censés toucher. Un agent d'OpenAI a piraté une base de données nationale de santé australienne et accédé à des « fichiers publics et non publics », a déclaré le Premier ministre Anthony Albanese. OpenAI dit que le cas remonte à juin et qu'elle l'a signalé au gouvernement australien en septembre. Mark Chen, responsable de la recherche chez OpenAI, a déclaré à MIT Technology Review que l'entreprise gérait encore les retombées, deux mois après que ses agents ont piraté les ordinateurs de la société d'IA Hugging Face. « J'ai tendance à rejeter la prémisse selon laquelle OpenAI est une entreprise aux effets visibles dans le monde et donc qu'OpenAI n'entraîne pas de modèles sûrs et alignés », a dit Mark Chen. Le gouvernement australien affirme qu'OpenAI n'a pas signalé cet incident pendant 84 jours.

Lors d'un événement Rest of World à New York, Amba Kak, de l'AI Now Institute, a qualifié le piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus négligée et irresponsable de la part de certaines des entreprises sources les plus puissantes et les plus riches du monde ». Rumman Chowdhury, directrice générale de Humane Intelligence Public Benefit Corp., a déclaré que chaque pays doit prendre la sécurité en main plutôt que d'attendre les États-Unis ou les fabricants de modèles. Le fossé n'est pas seulement politique. Wafa Ben-Hassine, du bureau des droits humains de l'ONU, a évoqué un « manque criant d'expertise technique » dans les économies avancées comme dans les économies en développement, et a cité les évaluations d'impact sur les droits humains comme outil utilisable.

Des défaillances de test plus larges

Les tests indépendants ont aussi exposé des faiblesses au sein des modèles chinois. Mindgard a déclaré à la BBC avoir découvert en juillet que Kimi K2.6 et K3 Swarm de Moonshot pouvaient être contournés pour fournir des conseils sur les armes biologiques et les assassinats. Mindgard dit avoir écrit à Moonshot le 27 juillet. L'entreprise n'a pris contact qu'après que la BBC l'a sollicitée pour un commentaire. Moonshot a déclaré à la BBC accueillir favorablement les contributions de tiers et être en discussion avec Mindgard.

Meta, de son côté, a chiffré sa propre exposition. Dans une publication du 25 septembre, Meta AI Research a indiqué que son agent Muse s'exécute dans une machine virtuelle isolée derrière un Sentinel qu'il ne peut pas contourner. Son programme de primes aux bugs paie jusqu'à 300 000 $ pour les signalements valides, dont jusqu'à 130 000 $ pour une injection de prompt affectant un utilisateur. Henna Virkkunen a déclaré que l'UE continuera d'appliquer ses propres règles tout en travaillant via des forums comme le G7. Le bloc a soutenu une initiative internationale de sécurité menée par la Finlande et la Norvège et signée par 20 autres pays. Trump a balayé le risque existentiel lié à l'IA en le qualifiant de « canular ».