Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

OpenAI dit avoir coupé une campagne de distillation liée à Moonshot AI

OpenAI affirme avoir déjoué une campagne coordonnée visant à extraire le raisonnement protégé de ses modèles. L'entreprise attribue un noyau central de cette activité à des personnes liées à Moonshot AI, le développeur de Kimi. Les premières traces remontent au 1er juillet.

IA & modèlesActualitéSophie LeclercPublié le: 4 octobre 20266 min de lectureSources 9
OpenAI dit avoir coupé une campagne de distillation liée à Moonshot AI

OpenAI a publié son récit de la campagne sur son site le 4 octobre. Selon l'entreprise, les opérateurs n'ont jamais cassé son chiffrement, compromis une base de données ni obtenu un accès direct aux conversations d'utilisateurs stockées. Ils ont plutôt poussé les interactions avec le modèle vers des formes qui reproduisaient le raisonnement protégé dans une sortie visible, à grande échelle, en violation de ses conditions d'utilisation.

La distinction compte pour quiconque construit des outils de sécurité au-dessus de modèles de pointe. La surface d'attaque était la trace de raisonnement du produit lui-même, pas une salle de serveurs. OpenAI décrit l'activité comme cohérente avec une distillation adversariale. Autrement dit, l'usage systématique des sorties d'un modèle pour en entraîner, reproduire ou améliorer un autre.

La chronologie de l'entreprise est inhabituellement précise. L'activité a commencé le 1er juillet à faible volume. Des pics à fort volume ont suivi les 24 et 25 juillet, avec 16 000 requêtes utilisant un schéma d'extraction pertinent, émises par plus de 4 000 utilisateurs. Un ensemble plus large de plus de 15 000 utilisateurs appliquant des schémas de requêtes apparentés était entièrement neutralisé au 28 juillet, selon OpenAI.

Une technique retient l'attention. OpenAI indique que les opérateurs copiaient le raisonnement chiffré d'une conversation et demandaient à un modèle, dans une autre conversation, de déchiffrer et de transcrire le contenu caché. Si cela fonctionne, la barrière pratique entre la réponse finale d'un modèle et son travail interne est plus mince que ne le supposent les clients. OpenAI affirme avoir depuis déployé des contre-mesures et partagé des détails avec des partenaires du secteur via le Frontier Model Forum.

Pourquoi une trace de raisonnement vaut la peine d'être volée

Le raisonnement protégé est le journal interne du modèle lorsqu'il traite une tâche. OpenAI soutient que l'extraire peut révéler des informations retenues de la réponse finale. C'est exactement la matière dont un concurrent aurait besoin pour reconstruire des capacités. L'entreprise avertit aussi qu'un modèle distillé peut ne pas hériter des garde-fous appliqués à la sortie destinée aux utilisateurs du modèle d'origine. À grande échelle, la distillation accélère le transfert de capacités sans investissement équivalent dans la sécurité, affirme-t-elle.

OpenAI dit ne pas savoir si tous les opérateurs observés durant la période venaient d'un seul acteur. Elle n'attribue qu'un noyau central à des personnes liées à Moonshot AI. Moonshot n'a pas répondu publiquement dans le billet d'OpenAI, et celui-ci ne précise pas si OpenAI a contacté l'entreprise avant publication. Aucune des deux parties n'a fait état d'une démarche juridique.

La divulgation suit un schéma courant chez les laboratoires, qui publient leurs comptes rendus d'incident une fois les contre-mesures en place. OpenAI affirme avoir enquêté sur l'ampleur, déployé des correctifs et recueilli les retours de chercheurs et de partenaires avant de rendre l'affaire publique. Des chercheurs en sécurité indépendants ont aussi signalé, via une divulgation responsable, des vulnérabilités apparentées entre modèles et liées à la compaction des conversations. OpenAI dit avoir confirmé que ces chemins d'attaque étaient réels.

Pour les acheteurs de produits de sécurité IA, la leçon est plus étroite que le titre. Il ne s'agissait pas d'une intrusion classique avec un identifiant volé. C'était l'abus d'une interface légitime, répété assez de fois pour ressembler à une attaque.

Google redessine le menu des modèles sous les pieds des utilisateurs

L'accès aux modèles bouge en même temps. Selon un document d'assistance Google mis à jour et rapporté par 9to5Google le 3 octobre, les utilisateurs de l'application Gemini sans abonnement payant seront limités au modèle 3.5 Flash-Lite à partir du 9 octobre. Ils perdent l'accès à 3.6 Flash et à 3.1 Pro.

Les abonnés à AI Plus à 4,99 dollars par mois seront limités à Flash-Lite et Flash, Pro étant retiré. Google indique que ces utilisateurs recevront un e-mail expliquant quand les changements prennent effet. AI Pro à 19,99 dollars par mois et AI Ultra à 99,99 ou 199,99 dollars par mois conservent l'accès aux trois modèles. Les clients AI Pro gagnent aussi l'option Deep Think pour un raisonnement parallèle maximal, jusque-là réservée aux offres Ultra.

THE DECODER rapportait le 4 octobre que ce dispositif reproduit la structure freemium d'OpenAI pour ChatGPT, l'offre gratuite étant réduite au plus petit modèle. La publication notait aussi que Google pourrait préparer Gemini 4 Argon, dont l'exploitation coûterait plus cher. 9to5Google rapporte qu'Argon arrivera d'abord aux abonnés AI Ultra. Il rapporte également que Google n'a pas dit si Argon compte comme un modèle Pro ou se situe dans une gamme au-dessus.

Le changement a une dimension de sécurité facile à manquer. Les équipes qui ont bâti des outils internes sur le modèle que la boîte de dialogue servait par défaut peuvent se retrouver sur Flash-Lite après le 9 octobre. Les requêtes réglées pour Pro se comporteront autrement, et personne n'envoie d'avis de migration pour un réglage par défaut.

Google prépare aussi des niveaux d'effort bas, moyen et élevé pour chaque modèle disponible en octobre, selon 9to5Google. Un effort plus élevé produit des réponses plus complètes et consomme davantage du quota de l'utilisateur. C'est un détail de facturation autant qu'un choix de produit.

Anthropic demande d'abord, et laisse l'interrupteur sur arrêt

Anthropic a commencé à demander aux utilisateurs de Claude de fournir volontairement des conversations vocales pour entraîner ses modèles, rapporte BleepingComputer le 4 octobre. L'invite apparaît quand on utilise les fonctions vocales de Claude. Elle demande l'autorisation d'utiliser l'audio pour améliorer les modèles de l'entreprise.

Le réglage est désactivé par défaut, selon l'interface vue par BleepingComputer. Les utilisateurs peuvent choisir Allow ou Not now, modifier le bouton plus tard dans Settings, Privacy, et supprimer ensuite les données vocales. L'entraînement sur la voix est distinct de l'option existante d'entraînement sur les conversations et les sessions de code, si bien que les deux choix se règlent indépendamment.

Cette séparation est le point intéressant. Un utilisateur peut céder des enregistrements vocaux tout en tenant ses conversations ordinaires et ses sessions Claude Code hors de l'entraînement, ou l'inverse. Anthropic n'a pas dit combien de personnes ont accepté, et le rapport ne donne aucun chiffre sur le volume de données vocales détenu.

Petits modèles, machines locales et audit de CVE

Les équipes de sécurité qui ne peuvent pas envoyer de données à une API hébergée disposent désormais de plus d'options locales. Jerry Gamblin, membre des groupes de travail Quality, Automation et Consumer du programme CVE, a fait tourner les modèles Clef de Cloudflare en local via Ollama 0.35.1. Il a posé deux questions aux 27 489 CVE publiées dans les 60 jours précédant le 3 octobre : la description indique-t-elle un impact de sécurité, et est-elle claire pour un défenseur ?

Les résultats, publiés sur son blog le 4 octobre, chiffrent une complainte familière. Hors noyau Linux, 989 des 23 736 descriptions, soit 4,2 %, ne disent jamais ce qu'un attaquant pourrait faire. Le noyau est un cas à part : sa politique publiée laisse l'impact à l'appréciation de l'utilisateur, si bien que 3 661 de ses 3 753 entrées n'en mentionnent aucun. Le total toutes CVE confondues monte ainsi à 4 650 sur 27 489, soit 16,9 %.

Clef Flash, un modèle de 9 milliards de paramètres, a répondu aux deux questions en moins d'une seconde par CVE en médiane sur un ordinateur portable, sans clé API. Flash s'est révélé trop strict seul, si bien que le modèle Clef plus grand de 27 milliards de paramètres a relu tout ce qu'il avait signalé hors du noyau et a annulé 1 198 des 2 187 signalements, soit 54,8 %. Face aux 129 CVE étiquetées à la main par Gamblin, l'approche en deux étapes a trouvé 15 des 16 qu'il jugeait sans impact et n'a jamais signalé l'un de ses positifs. Les deux modèles sont sous Apache 2.0 et affinés à partir de modèles Qwen, écrit-il.

Gamblin précise que rien dans son billet n'engage le programme CVE. L'audit est le projet de week-end d'un chercheur, pas la conclusion d'un régulateur. Il mesure la qualité de la prose, non l'exploitabilité d'une faille.

Le billet d'OpenAI avance un point proche : la distillation et l'extraction de raisonnement ne sont pas des vulnérabilités propres à ses modèles. L'entreprise indique que des techniques similaires peuvent toucher d'autres systèmes avancés, ce qui fait de la coordination entre laboratoires une partie de la défense.

Commentaires 0

Sources

9
  1. 01Disrupting a coordinated model-distillation campaignEN
  2. 02Gemini app limiting what models free and AI Plus users can accessEN
  3. 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
  4. 04Anthropic asks Claude users to share voice data for AI model trainingEN
  5. 05Decision Models vs. CVE DataEN
  6. 06OpenAI's latest features take direct aim at the app store modelEN
  7. 07Ideogram 4.5: The most precise edit modelEN
  8. 08No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
  9. 09Language Model "Shape"EN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.