OpenAI dit avoir stoppé une campagne de vol de raisonnement, mais l'astuce marchait encore sur Azure
OpenAI affirme avoir mis fin à une campagne de distillation adverse qui extrayait le raisonnement caché de ses modèles. Des chercheurs indépendants ont pourtant constaté que la même méthode fonctionnait encore sur Microsoft Azure le 13 septembre, selon une mise à jour d'étude publiée le 1er octobre.

Dans un article de blog publié le 1er octobre, OpenAI affirme avoir détecté et interrompu une campagne de « distillation adverse », c'est-à-dire l'usage systématique et non autorisé des sorties ou du raisonnement d'un modèle pour en entraîner ou en améliorer un autre. L'entreprise rattache un noyau central de cette activité à des personnes liées à Moonshot AI, développeur basé en Chine et à l'origine de Kimi. Moonshot n'a pas répondu immédiatement à la demande de commentaire de CNBC.
Selon OpenAI, l'activité a commencé à faible volume le 1er juillet, puis a bondi les 24 et 25 juillet pour atteindre 16 000 requêtes provenant de plus de 4 000 utilisateurs, toutes suivant un schéma d'extraction typique. Un examen plus large a révélé un réseau de plus de 15 000 comptes présentant des schémas apparentés, que l'entreprise dit avoir entièrement fermé au 28 juillet. Une note de bas de page précise qu'il s'agissait de tentatives d'extraction, pas nécessairement de réussites.
Le mécanisme compte plus que le nombre de comptes. D'après OpenAI, les attaquants récupéraient le raisonnement chiffré d'une conversation, puis demandaient à un modèle, dans une autre conversation, de le déchiffrer et de le retranscrire.
Mêmes modèles, protections différentes
Les chercheurs Joachim Schaeffer et son équipe avaient déjà montré ce fonctionnement dans l'article « Stealing Reasoning Traces from Proprietary LLM APIs », daté du 10 août. Les fournisseurs d'IA renvoient le raisonnement aux clients sous forme de paquets chiffrés, que les clients transmettent avec leurs requêtes suivantes. Ces paquets étant chiffrés avec des clés partagées, les chercheurs ont constaté qu'on pouvait les déplacer entre sessions, entre utilisateurs et même entre différents modèles d'un même fournisseur. Un modèle plus faible et moins cher de la même famille peut ainsi servir d'« oracle de déchiffrement » et recracher mot pour mot les pensées cachées du modèle plus puissant.
OpenAI cite les chercheurs nommément et affirme que leurs conclusions l'ont aidé à déployer plus vite des contre-mesures. L'entreprise indique avoir banni des comptes frauduleux, durci les inscriptions et bouché la faille qui permettait de réutiliser un raisonnement chiffré qui n'était pas le sien. Elle filtre aussi les sorties en flux et les retient lorsqu'elles risquent de révéler du raisonnement. Elle dit avoir partagé ses constats via le Frontier Model Forum et des canaux gouvernementaux. OpenAI assure que son chiffrement n'a pas été cassé, qu'aucune base de données n'a été compromise et qu'il n'y a pas eu d'accès direct aux conversations d'utilisateurs stockées.
La mise à jour des chercheurs, publiée le même jour, indique que le problème s'est déplacé plutôt qu'il n'a disparu. Lors de nouveaux tests le 13 septembre, l'attaque était bloquée sur les API propres à OpenAI et à Anthropic. Sur Microsoft Azure, elle fonctionnait contre tous les modèles OpenAI testés, dont GPT-6 Astra, et contre les modèles Anthropic jusqu'à Sonnet 5. Une seule tentative suffisait pour extraire le raisonnement mot pour mot. « Mêmes modèles, mais des protections différentes selon la plateforme qui les sert », a écrit Schaeffer sur X.
« Nous avons volé du raisonnement. Encore. » Joachim Schaeffer, chercheur, dans un message publié sur X le 1er octobre
Selon la chronologie des chercheurs, OpenAI n'a ajouté de garde-fous au point de terminaison Azure que le 27 septembre. Pour les modèles Anthropic, l'extraction rapportée n'était plus reproductible sur Azure à partir du 28 septembre. Les chercheurs qualifient les correctifs apportés jusqu'ici de fragmentaires et superficiels : beaucoup reposent sur une correspondance fragile de schémas de requêtes précis. GPT-6 Astra, notent-ils, est sorti sur des plateformes tierces sans aucune des protections en place.
Schaeffer soutient que les correctifs doivent couvrir chaque type d'attaque et chaque cloud qui héberge les modèles. Sinon, les attaquants n'ont qu'à choisir la voie la moins défendue.
Une seconde voie, plus simple
Une deuxième méthode existe, démontrée publiquement par le développeur Can Bölük. Le modèle reçoit un bloc-notes virtuel comme outil et l'ordre d'y écrire son raisonnement, que l'utilisateur peut ensuite lire. Les chercheurs indiquent que cela fonctionnait sur tous les modèles OpenAI, ainsi que sur Opus 4.8 et Sonnet 5. Seuls Opus 5, Fable 5 et Fable 5.1 n'ont pas révélé leur raisonnement. La sortie ressemblait de près à ce que produisait l'attaque par déchiffrement, et les chercheurs estiment qu'elle serait probablement tout aussi utile pour la distillation.
OpenAI n'est pas la seule entreprise à signaler ces faits. Le rapport d'Anthropic « Detecting and countering misuse of AI: September 2026 » décrit une seule période de dix jours durant laquelle Moonshot a relayé près de 300 000 requêtes de clients vers Anthropic via un réseau proxy de 5 380 comptes frauduleux, selon Tom's Hardware. Ce rapport indique que Moonshot conservait les signatures de raisonnement de Claude et, dans de nouvelles sessions, amenait Claude à les reconvertir en traces de raisonnement complètes, ce qu'Anthropic appelle des attaques par rejeu entre sessions. En juillet, Moonshot a nié que Kimi K3 ait été créé par distillation.
Ces révélations tombent dans une semaine chargée pour OpenAI. Le 29 septembre, l'entreprise a dévoilé « dots », un assistant toujours actif propulsé par GPT-6 Astra, moins de 24 heures après avoir annoncé l'abandon du lancement de GPT-6.1 Astra en raison d'un comportement trompeur détecté lors des tests, rapporte le Guardian. OpenAI s'est aussi excusé après qu'un de ses agents a piraté un site du gouvernement australien.
Pour les développeurs de modèles à poids ouverts, la leçon pratique est plus étroite que le débat politique. Si un fournisseur vend l'accès à un modèle via un point de terminaison cloud, ce sont les protections de ce point de terminaison, et non l'API propre au modèle, qui déterminent si le raisonnement caché peut être extrait.
Sources
5- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
- 05OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.