OpenAI dice di aver fermato un furto di ragionamenti, ma lo stesso trucco funzionava su Azure
OpenAI sostiene di aver chiuso una campagna di distillazione avversaria che estraeva i ragionamenti nascosti dei suoi modelli. Secondo l'aggiornamento di uno studio pubblicato il 1 ottobre, però, lo stesso metodo funzionava ancora su Microsoft Azure almeno fino al 13 settembre.

OpenAI ha pubblicato un post sul blog il 1 ottobre in cui afferma di aver individuato e interrotto una campagna di "distillazione avversaria", definita come l'uso sistematico e non autorizzato degli output o dei ragionamenti di un modello per addestrarne o migliorarne un altro. L'azienda collega un nucleo centrale dell'attività a persone legate a Moonshot AI, società con sede in Cina che sviluppa Kimi. Moonshot non ha risposto immediatamente alla richiesta di commento di CNBC.
Secondo OpenAI l'attività è iniziata con volumi bassi il 1 luglio. Poi il 24 e 25 luglio è schizzata a 16.000 richieste da più di 4.000 utenti, tutte con un tipico schema di estrazione. Un controllo più ampio ha portato alla luce una rete di oltre 15.000 account con schemi simili, che l'azienda dice di aver chiuso del tutto entro il 28 luglio. Una nota nel post precisa che si trattava di tentativi di estrazione, non necessariamente riusciti.
Il meccanismo conta più del numero di persone coinvolte. Secondo OpenAI gli attaccanti prendevano i ragionamenti cifrati di una conversazione e chiedevano a un modello, in una conversazione separata, di decifrarli e trascriverli.
Gli stessi modelli, protezioni diverse
I ricercatori Joachim Schaeffer e il suo team avevano già mostrato come funziona nel paper "Stealing Reasoning Traces from Proprietary LLM APIs", datato 10 agosto. I fornitori di AI rimandano ai clienti i ragionamenti sotto forma di pacchetti cifrati, che i clienti inoltrano insieme alle richieste successive. Poiché quei pacchetti sono cifrati con chiavi condivise, secondo i ricercatori possono essere spostati tra sessioni, tra utenti e persino tra modelli diversi dello stesso fornitore. Così un modello più debole ed economico della stessa famiglia può fare da "oracolo di decifratura" e stampare parola per parola i pensieri nascosti del modello più potente.
OpenAI cita i ricercatori per nome e afferma che i loro risultati l'hanno aiutata a distribuire più rapidamente le contromisure. L'azienda dice di aver bloccato gli account fraudolenti, irrigidito le procedure di registrazione e chiuso la falla che permetteva di riutilizzare ragionamenti cifrati appartenenti ad altri. Filtra inoltre gli output in streaming e li trattiene se potrebbero rivelare ragionamenti. Afferma anche di aver condiviso quanto appreso tramite il Frontier Model Forum e i canali governativi. OpenAI sostiene che la sua cifratura non è stata violata, che nessun database è stato compromesso e che non c'è stato accesso diretto alle conversazioni degli utenti memorizzate.
L'aggiornamento dei ricercatori, pubblicato lo stesso giorno, dice che il problema si è spostato invece di sparire. Quando il team ha ripetuto i test il 13 settembre, l'attacco era bloccato sulle API di OpenAI e di Anthropic. Su Microsoft Azure funzionava contro ogni modello OpenAI provato, compreso GPT-6 Astra, e contro i modelli Anthropic fino a Sonnet 5. Bastava un solo tentativo per estrarre i ragionamenti alla lettera. "Gli stessi modelli, ma protezioni diverse a seconda della piattaforma che li serve", ha scritto Schaeffer su X.
"Abbiamo rubato i ragionamenti. Di nuovo." Joachim Schaeffer, ricercatore, in un post su X del 1 ottobre
Secondo la cronologia dei ricercatori, OpenAI non ha aggiunto protezioni all'endpoint Azure prima del 27 settembre. Per i modelli Anthropic, l'estrazione segnalata non era più riproducibile su Azure a partire dal 28 settembre. I ricercatori definiscono le correzioni finora applicate frammentarie e superficiali, molte basate su un confronto fragile di schemi di richiesta specifici. GPT-6 Astra, osservano, è stato lanciato su piattaforme di terze parti senza nessuna delle protezioni in essere.
Schaeffer sostiene che le patch devono coprire ogni tipo di attacco e ogni cloud che ospita i modelli. Altrimenti gli attaccanti possono semplicemente scegliere la strada con le difese più deboli.
Una seconda via, più semplice
Esiste anche un secondo metodo, dimostrato pubblicamente dallo sviluppatore Can Bölük. Al modello viene dato un blocco note virtuale come strumento e gli si dice di scrivere lì i propri ragionamenti. Poi l'utente può leggere quello che ha scritto. I ricercatori dicono che ha funzionato su ogni modello OpenAI, oltre che su Opus 4.8 e Sonnet 5. Solo Opus 5, Fable 5 e Fable 5.1 non hanno rivelato i loro ragionamenti. L'output somigliava molto a quello prodotto dall'attacco di decifratura, e i ricercatori ritengono che sarebbe probabilmente altrettanto utile per la distillazione.
OpenAI non è l'unica azienda a segnalare questi casi. Il rapporto di Anthropic "Detecting and countering misuse of AI: September 2026" descrive un singolo periodo di dieci giorni in cui Moonshot ha inoltrato quasi 300.000 richieste di clienti ad Anthropic attraverso una rete proxy di 5.380 account fraudolenti, secondo Tom's Hardware. Quel rapporto dice che Moonshot ha conservato le firme dei ragionamenti di Claude e, in nuove sessioni, ha fatto in modo che Claude le riconvertisse in tracce di ragionamento complete. Anthropic li chiama attacchi di replay tra sessioni. A luglio Moonshot aveva negato che Kimi K3 fosse stato creato tramite distillazione.
Le rivelazioni arrivano in una settimana affollata per OpenAI. Il 29 settembre l'azienda ha presentato "dots", un assistente sempre attivo basato su GPT-6 Astra, meno di 24 ore dopo aver annunciato che avrebbe rinunciato al lancio di GPT-6.1 Astra per un comportamento ingannevole emerso nei test, ha riferito il Guardian. OpenAI si è anche scusata perché uno dei suoi agenti ha violato il sito di un'agenzia governativa australiana.
Per gli sviluppatori di modelli a pesi aperti la lezione pratica è più ristretta del dibattito politico. Se un fornitore vende l'accesso a un modello tramite un endpoint cloud, sono le protezioni di quell'endpoint, non l'API del modello, a decidere se i ragionamenti nascosti possono essere sottratti.
Fonti
5- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
- 05OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.