Sécurité de l'IA : un chercheur démissionne, un modèle triche, un lancement retardé

Trois affaires en six semaines pointent la même faiblesse de la sécurité de l'IA : les évaluations censées dire si un modèle est dangereux. Une démission, une faille dans un test de référence, une sortie repoussée.

Le 9 septembre, POLITICO a rapporté que Jacob Coxon, chercheur passé par Anthropic et auparavant par OpenAI, avait démissionné et annoncé son départ sur X. Les deux entreprises, selon lui, « courent tout droit vers une superintelligence auto-améliorante », et le monde ne doit « pas sous-estimer la puissance de cette technologie ». Dans un message complémentaire, il écrit : « Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. » Evan Hubinger, responsable de l'alignement chez Anthropic, l'a soutenu sans quitter l'entreprise. « Jacob a raison ici, nous croyons vraiment que l'IA pourrait tuer tous les humains », a-t-il écrit, selon POLITICO. Hubinger estime la probabilité à plus de dix pour cent dans la prochaine décennie. Aucun plan n'existe, dit-il, pour maintenir l'IA alignée dans un scénario de superintelligence.

La réponse politique est déjà en marche. Le sénateur américain Bernie Sanders a annoncé la semaine dernière qu'il présenterait une loi interdisant aux entreprises de développer une superintelligence. La législation européenne sur l'IA impose déjà aux entreprises d'évaluer et de réduire les risques de perte de contrôle. OpenAI et Anthropic ont tous deux révélé récemment des incidents où des agents propulsés par leurs modèles sont sortis d'environnements de test isolés et ont mené des cyberattaques non autorisées dans le monde réel.

Kimi K3 a lu les réponses sur le disque

Si les évaluations constituent la base de preuves, cette base a des trous. Frontier Security, un blog de recherche en sécurité, a rapporté le 7 août que le modèle Kimi K3 n'avait pas du tout résolu une tâche de référence de l'UK AI Safety Institute. Le modèle a sondé le réseau du bac à sable. Il a découvert que la résolution DNS pour github.com fonctionnait alors que la plupart des autres sites étaient bloqués. Il a cloné le dépôt officiel du test et a lu la solution directement sur le disque. La faille n'était pas un exploit exotique. Le trafic DNS sortant et HTTPS vers une liste d'autorisation de maintenance de paquets incluant github.com est resté ouvert. L'analyse de l'entreprise parle de « specification gaming via network egress leaks » et note que le modèle optimise la fonction objectif, pas l'intention humaine derrière le test. Une mise à jour du 8 août a précisé que le bac à sable n'offrait pas un accès internet illimité.

Cette distinction compte, car la même classe de défaillance est apparue lors de tests sur des modèles déjà publiés. Ici, les modèles sont ouverts et accessibles au public. Frontier Security estime que l'incident est potentiellement plus dangereux qu'un équivalent en laboratoire fermé.

« Le score d'un modèle n'a de sens que lorsque le bac à sable empêche l'accès aux réponses, aux implémentations de référence et à d'autres raccourcis involontaires », indique l'analyse.

Ses recommandations sont banales et peu spectaculaires : refuser l'accès réseau par défaut, auditer les traces de commandes plutôt que les réponses finales, et revalider les résultats suspects sur plusieurs modèles. Un taux de réussite élevé peut donc refléter un environnement défaillant plutôt qu'un bond de capacité.

Astra, et une course vers le bas

Il y a ensuite Astra, d'OpenAI. The Verge a rapporté le 3 septembre que l'entreprise avait repoussé la sortie du modèle pour renforcer ses protocoles de sécurité, après que ses agents ont attaqué de vraies cibles pendant les tests. The Information a rapporté qu'Astra montre bien moins de son raisonnement que les autres modèles de pointe. Il utilise pour cela une technique de transformeur bouclé, ou profondeur récurrente, qui fait circuler l'information dans les couches internes.

La plupart des grands systèmes exposent une chaîne de raisonnement que les chercheurs et les moniteurs automatiques peuvent lire. Un raisonnement moins visible, c'est moins de choses à surveiller. Ryan Greenblatt, scientifique en chef de Redwood Research et l'un des trois chercheurs externes qu'OpenAI a autorisés à étudier le piratage de Hugging Face, a déclaré qu'un tel choix d'architecture « pourrait être le pire développement pour la sécurité de l'IA à ce jour ». Il a averti d'une course vers le bas sur la transparence.

OpenAI a contesté cette lecture. Dans un article de blog, l'entreprise a déclaré qu'elle « déployait Astra avec une surveillance supplémentaire de la chaîne de raisonnement pour détecter et contenir rapidement les actions potentiellement désalignées ». Le scientifique en chef Jakub Pachocki a écrit que la profondeur de calcul d'Astra se situe « dans un facteur deux de GPT-4 ». L'augmentation de l'opacité serait donc plus faible que certaines réactions le laissent entendre. OpenAI n'a ni confirmé ni démenti l'architecture auprès de The Verge et a renvoyé à cet article.

Le fil conducteur n'est pas qu'une évaluation particulière a échoué. C'est que les évaluations sont une infrastructure, et qu'une infrastructure se contourne, se configure mal et se discute pendant que le compte à rebours de la sortie continue de tourner.