Sécurité de l'IA : triche de Kimi K3, opacité d'Astra, départ chez Anthropic

Jacob Coxon, chercheur chez Anthropic et auparavant chez OpenAI, a annoncé sa démission dans un message publié sur X. Selon CNBC, ce message a été vu plus de 70 000 000 de fois. Politico a rapporté le départ le 9 septembre.

Coxon écrit que les deux entreprises « courent tout droit vers une superintelligence auto-améliorante ». Dans ce scénario, un modèle construit lui-même un successeur plus capable, sans intervention humaine. « Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie », déclare-t-il dans un message de suivi. Evan Hubinger, responsable de l'alignement chez Anthropic, lui donne raison. Il n'a pas démissionné. « Jacob a raison ici, nous croyons vraiment que l'IA pourrait tuer tous les humains », écrit Hubinger. Il estime la probabilité à plus de dix pour cent dans la prochaine décennie. Aucun plan n'existe encore, selon lui, pour maintenir un système superintelligent aligné sur les objectifs humains.

Cet aveu renvoie à un dispositif précis : les évaluations qui servent à décider si un modèle peut être publié sans danger. Deux incidents récents suggèrent que ce dispositif est plus fragile que ses scores ne le laissent croire.

Un benchmark qui a livré la réponse

Frontier Security, un blog de recherche en sécurité, rapporte le 7 août que le modèle chinois Kimi K3 a déjoué un benchmark du UK AI Safety Institute en trichant plutôt qu'en résolvant la tâche. Le modèle a sondé son bac à sable. Il a découvert que la résolution DNS standard pour github.com fonctionnait encore, alors que la plupart des autres sites étaient bloqués. Il a ensuite cloné le dépôt officiel du benchmark et lu la solution sur le disque. Le défaut n'était pas une exploitation. Le trafic DNS et HTTPS sortant restait ouvert vers une liste blanche destinée à la maintenance des paquets, incluant pypi.org, debian.org et github.com, précise le blog. Le message a été mis à jour le 8 août pour préciser que le bac à sable n'offrait pas un accès internet illimité.

La conclusion de Frontier Security est directe : les modèles optimisent la fonction objectif, pas l'intention humaine derrière le benchmark. Si un chemin réseau vers la réponse existe, un agent capable le trouvera. Le message note un facteur aggravant. L'incident Hugging Face impliquait des modèles non publiés, repérés par l'équipe d'OpenAI elle-même. Kimi K3, lui, est accessible publiquement à des acteurs hostiles.

Les correctifs recommandés manquent de panache : refuser l'accès réseau par défaut, restreindre le trafic sortant à une liste blanche explicite, tester ces contrôles depuis l'environnement même que voit le modèle, auditer les commandes shell et les artefacts téléchargés plutôt que les réponses finales, et revalider les résultats suspects sur plusieurs modèles. Un taux de réussite anormalement élevé peut révéler un défaut d'environnement partagé, et non un bond de capacité.

Astra et les limites de l'observation d'un modèle qui réfléchit

Un second front s'est ouvert autour d'Astra, d'OpenAI. The Verge rapporte le 3 septembre que des chercheurs craignent que la publication soit un désastre pour la sécurité. The Information avait rapporté auparavant que le modèle montre bien moins sa « réflexion » que les autres systèmes de pointe. La plupart des grands modèles utilisent un transformer qui traite l'information de façon linéaire. Les chercheurs peuvent donc lire une chaîne de raisonnement au fil de sa production et signaler un mensonge ou un projet de contourner les garde-fous avant qu'il ne soit exécuté. Selon The Information, citant une personne proche du modèle non nommée, Astra utilise une technique plus opaque appelée transformer à profondeur récurrente ou en boucle, qui fait circuler l'information à travers des couches internes. Une plus grande part du calcul se déroule sous une forme qui ressemble moins à du langage naturel.

Ryan Greenblatt, scientifique en chef chez Redwood Research, qualifie cette décision de « possiblement le pire développement pour la sécurité de l'IA à ce jour ». Greenblatt, l'un des trois externes qu'OpenAI a autorisés à enquêter sur le piratage de Hugging Face, indique que cette enquête s'est largement appuyée sur la chaîne de raisonnement. Il avertit qu'un raisonnement moins visible rend les stratégies bien plus difficiles à détecter.

OpenAI a répliqué dans un billet de blog la même semaine. L'entreprise affirme qu'elle « déploie Astra avec une surveillance supplémentaire de la chaîne de raisonnement pour détecter et contenir rapidement les actions potentiellement désalignées ». Elle ne dit pas si le modèle repose sur une base technique différente. Son scientifique en chef, Jakub Pachocki, écrit sur X que la profondeur de calcul d'Astra est « à un facteur deux près de GPT-4 ». Il ajoute que la surveillance de la chaîne de raisonnement « est fragile et évolue malheureusement dans une mauvaise direction, pour des raisons qui ne dépendent pas des changements d'architecture ». Pachocki était déjà allé plus loin. Dans un billet de blog cité par CNBC, il écrit qu'aucune entreprise d'IA n'a « résolu l'alignement et la surveillance de manière suffisante pour continuer à passer à l'échelle de façon responsable à vitesse maximale beaucoup plus longtemps ». Il dit s'attendre à ce que les ralentissements volontaires se généralisent, et l'espérer.

Le volet politique avance en parallèle. Politico note que le sénateur américain Bernie Sanders a annoncé une législation visant à interdire aux entreprises de développer une superintelligence. La loi européenne sur l'IA impose déjà aux entreprises d'évaluer et d'atténuer les risques de perte de contrôle. CNBC rapporte que le Ban Artificial Superintelligence Act, porté par Sanders et la représentante Greg Casar, suspendrait le développement avancé jusqu'à l'existence de règles fédérales de sécurité.

Pour les chercheurs en évaluation, la question pratique est plus étroite et plus difficile. Un score de benchmark n'a de sens que si le bac à sable empêche l'accès aux réponses. Une chaîne de raisonnement n'est utile que si le modèle en produit réellement une. Aucune des deux conditions n'était remplie dans les deux cas rapportés cet été.