OpenAI affirme que des acteurs liés à Moonshot ont tenté d'extraire son raisonnement caché
OpenAI dit avoir déjoué une campagne coordonnée visant à extraire le raisonnement protégé de ses modèles. L'entreprise rattache un noyau central de l'activité à des personnes associées à Moonshot AI, en Chine. Son billet de blog, publié le 1er octobre, indique un pic à 16 000 requêtes en deux jours, provenant de plus de 4 000 utilisateurs.

Le récit d'OpenAI est assez précis pour être vérifié. L'activité a commencé le 1er juillet, « d'abord à faible volume », selon le billet de blog de l'entreprise. Elle a ensuite bondi les 24 et 25 juillet : 16 000 requêtes reposant sur un schéma d'extraction pertinent, émises par plus de 4 000 utilisateurs. Un examen plus large a mis au jour une activité de prompts apparentée sur plus de 15 000 comptes. OpenAI affirme que la campagne était entièrement déjouée le 28 juillet. Une note de bas de page précise qu'il s'agissait de tentatives d'extraction, pas nécessairement de réussites. L'entreprise n'a pas indiqué quels modèles étaient visés.
Les opérateurs n'ont pas percé une base de données.
« Les opérateurs n'ont pas cassé notre chiffrement, compromis une base de données ni obtenu un accès direct aux conversations d'utilisateurs stockées », écrit le blog, cité par The Register. Ils ont en revanche manipulé les interactions avec le modèle pour que le raisonnement protégé puisse être reproduit sous une forme visible par le demandeur. OpenAI définit le raisonnement protégé comme la trace interne du modèle lorsqu'il traite une tâche. L'entreprise parle de « distillation adversariale » : l'usage systématique et non autorisé des sorties ou du raisonnement d'un modèle pour en entraîner ou en améliorer un autre.
L'oracle de déchiffrement
Le mécanisme compte, car c'est la partie qui a survécu au correctif d'OpenAI. Les fournisseurs renvoient le raisonnement aux clients sous forme de paquets de données chiffrés. Les clients les renvoient avec leurs requêtes suivantes, ce qui évite au fournisseur de stocker la chaîne de pensée. Le chercheur Joachim Schaeffer et son équipe ont montré que ces paquets sont chiffrés avec des clés partagées. Ils peuvent donc circuler entre sessions, entre utilisateurs et même entre différents modèles d'un même fournisseur. Un modèle plus faible et moins cher de la même famille peut alors servir d'oracle de déchiffrement. Il restitue mot pour mot les pensées cachées du modèle plus puissant. OpenAI cite les chercheurs nommément et affirme avoir confirmé que les chemins d'attaque signalés étaient réels.
OpenAI indique avoir depuis banni les comptes frauduleux et durci les inscriptions. L'entreprise a fermé la voie qui permettait de rejouer et de lire un raisonnement chiffré qui n'appartenait pas au demandeur. Elle filtre aussi les sorties en flux et les retient si elles risquent de révéler le raisonnement. Elle a partagé ses constats via le Frontier Model Forum et des canaux gouvernementaux. CNBC rapporte que l'entreprise affirme que les opérateurs n'ont pas percé son chiffrement, ses bases de données ni les conversations d'utilisateurs stockées. Moonshot n'a pas répondu immédiatement à la demande de commentaire de CNBC. The Register a également sollicité l'entreprise sans obtenir de réponse immédiate, et a demandé à OpenAI quels modèles étaient visés, sans retour.
Le même jour, les chercheurs ont publié une mise à jour. « We stole reasoning. Again », a écrit Schaeffer sur X, selon THE DECODER. Son argument : sécuriser sa propre API ne sécurise pas l'écosystème plus large des fournisseurs cloud qui vendent eux aussi l'accès aux modèles. L'équipe a constaté que l'astuce fonctionnait encore des semaines durant sur des plateformes comme Microsoft Azure.
La suite est moins confortable. OpenAI peut boucher son propre trou. Il ne peut pas boucher seul celui d'un revendeur.
Contexte, et pourquoi le cadrage compte
L'accusation tombe dans un champ déjà encombré. Tom's Hardware note qu'OpenAI ne sait pas si tous les opérateurs observés formaient un seul acteur. Le billet ne précise ni le taux de réussite ni le nombre d'utilisateurs liés à Moonshot. Quelques semaines plus tôt, Anthropic avait accusé plusieurs développeurs d'IA chinois, dont Moonshot AI et Alibaba, d'avoir utilisé Claude en secret pour entraîner leurs propres systèmes, selon CNBC. The Register ajoute qu'à la fin juillet, Michael Kratsios, conseiller scientifique et technologique de Trump, a accusé Moonshot d'avoir créé son modèle Kimi K3 en distillant Fable d'Anthropic.
L'argument d'OpenAI est qu'un raisonnement extrait pourrait entraîner un autre modèle sans conserver les garde-fous appliqués aux sorties destinées aux utilisateurs du modèle d'origine. À grande échelle, la distillation peut accélérer le transfert de capacités avancées sans le même investissement en sûreté, affirme l'entreprise. Le cadrage de The Register est plus direct : les fabricants de modèles américains peuvent s'entraîner sur les données du web, mais distiller les leurs relève du risque de sécurité nationale. Le média soulève cette tension dans son titre et ne la résout pas.
Une bonne partie de cette histoire concerne le contrôle plus que la capacité. Le 30 septembre, le procureur général de Floride James Uthmeier a déposé une requête en injonction temporaire contre cinq entités OpenAI et contre Sam Altman personnellement. Elle demande à un tribunal d'interdire à l'entreprise de développer des modèles d'IA sans garde-fous et approbation d'un tiers indépendant, entre autres exigences, selon Tom's Hardware. La requête s'inscrit dans une plainte déposée en juin dans le comté de Highlands. Une autre plainte, portée par une organisation à but non lucratif au sujet du piratage de Hugging Face, soutient que « c'est une IA qui l'a fait » ne constitue pas une défense, comme l'a rapporté Ars Technica. La FTC a ouvert une vaste enquête sur OpenAI, Anthropic et d'autres laboratoires pour des motifs de protection des consommateurs, selon THE DECODER.
Face à cela, le flux de poids ouverts continue. TechCrunch rapporte le 1er octobre qu'AWS a publié Strands Decider 2B, un modèle de décision open source inspiré de Jev de TypeSafe, assez petit pour tourner en local. Marc Brooker, ingénieur chez Amazon, a construit lui-même la première version, qui a brièvement occupé la tête du classement Jevbench pour les modèles de sa taille. Cloudflare a publié ses propres modèles de décision, Clef et Clef-flash, sous licence Apache 2.0 sur son blog. L'entreprise affirme que Clef domine le Jev Decision Index et que classer un domaine a pris 2,2 secondes, contre 4,7 secondes pour gpt-oss-120b dans le même flux de travail. Le dépôt Context Language Models de Meta rapporte une précision supérieure de 11,4 % avec 21,5 % de FLOPs en moins sur BrowseComp-Plus lorsque les modèles gèrent le contexte comme un fichier. Même la voie bénévole fonctionne. Coop est un modèle d'environ 145 000 000 de paramètres préentraîné de zéro sur FineWeb-Edu. Les contributeurs soumettent des pseudo-gradients sous forme de pull requests Hugging Face, agrégés par une tâche cron GitHub Actions sans état.
Les deux histoires ne sont pas séparées. Des modèles bon marché, exécutables en local et sous licence ouverte sont précisément ce qui rend la distillation attrayante au départ. Ce sont aussi précisément ce qui la rend difficile à surveiller. OpenAI peut nommer un acteur et bannir des comptes. L'astuce du raisonnement chiffré, comme le montre la mise à jour des chercheurs, voyage.
Interrogée sur la campagne, le billet d'OpenAI laisse les questions évidentes ouvertes. Combien des plus de 15 000 comptes remontent à Moonshot ? Quels modèles ont laissé fuir du raisonnement ? Quelle part de ce qui est sorti était utilisable ? Tant que ces chiffres n'existent pas, l'affirmation vérifiable la plus solide est plus étroite que les titres. Une tentative d'extraction coordonnée a eu lieu en juillet, elle était massive, et elle a été stoppée sur l'API d'un fournisseur. Pas partout. Le billet ne dit rien non plus des 2 000 000 000 de paramètres ou des volumes comparables évoqués ailleurs dans le débat sur la distillation.
Sources
12- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 05Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
- 06"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 07FTC launches sweeping probe into OpenAI, Anthropic, and other AI labs over consumer protection concernsEN
- 08Amazon releases its own Jev clone as decision models flood the webEN
- 09Clef: our open-source decision modelsEN
- 10Context Language Models (CLMs)EN
- 11Coop: A small language model pretrained by volunteersEN
- 12Google rolls out new Gemini AI model but restricts access over safety concernsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.