OpenAI dice di aver bloccato una campagna di furto di ragionamento, ma lo stesso trucco ha funzionato su Azure

Il 1 ottobre OpenAI ha pubblicato un post sul blog annunciando di aver rilevato e interrotto una campagna di "distillazione avversariale". Si tratta dell'uso sistematico e non autorizzato delle uscite o del ragionamento di un modello per addestrarne o migliorarne un altro. L'azienda collega un cluster centrale di questa attività a persone associate a Moonshot AI, con sede in Cina, sviluppatrice di Kimi. Moonshot non ha risposto immediatamente alla richiesta di commento di CNBC.

Secondo OpenAI, l'attività è iniziata a basso volume il 1 luglio. Poi è cresciuta il 24 e 25 luglio, raggiungendo 16.000 richieste da oltre 4.000 utenti, tutte seguendo un tipico schema di estrazione. Un'analisi più ampia ha rivelato una rete di oltre 15.000 account con pattern correlati. L'azienda dichiara di averli completamente disattivati entro il 28 luglio. Una nota a piè di pagina nel post specifica che si trattava di tentativi di estrazione, non necessariamente riusciti.

Il meccanismo conta più del numero di account. Secondo OpenAI, gli attaccanti prendevano il ragionamento cifrato da una conversazione. Poi chiedevano a un modello in una conversazione separata di decifrarlo e scriverlo.

Stessi modelli, protezioni diverse

I ricercatori Joachim Schaeffer e il suo team avevano già dimostrato, nel paper "Stealing Reasoning Traces from Proprietary LLM API" del 10 agosto, come funziona. I provider AI inviano i ragionamenti ai clienti come pacchetti cifrati. Questi vengono passati insieme alle richieste di follow-up. Poiché i pacchetti sono cifrati con chiavi condivise, i ricercatori hanno scoperto che possono essere spostati tra sessioni, tra utenti e persino tra modelli diversi dello stesso provider. Questo permette a un modello più debole ed economico della stessa famiglia di agire come un "oracolo di decifratura". Esso stampa parola per parola i pensieri nascosti del modello più forte.

OpenAI cita i ricercatori per nome e afferma che i loro risultati hanno aiutato l'azienda a implementare più rapidamente le contromisure. L'azienda dice di aver bannato account fraudolenti, rafforzato le iscrizioni e chiuso la falla che permetteva di riutilizzare ragionamenti cifrati non propri. Esamina anche le uscite in streaming e le trattiene se potrebbero rivelare il ragionamento. Afferma inoltre di aver condiviso le conoscenze acquisite attraverso il Frontier Model Forum e i canali governativi. OpenAI afferma che la sua cifratura non è stata violata, nessun database è stato compromesso e non c'è stato accesso diretto alle conversazioni degli utenti archiviate.

L'aggiornamento dei ricercatori, pubblicato lo stesso giorno, afferma che il problema si è spostato, non è scomparso. Quando il team ha ritestato il 13 settembre, l'attacco è stato bloccato sulle API di OpenAI e Anthropic. Su Microsoft Azure ha funzionato contro tutti i modelli OpenAI provati, incluso GPT-6 Astra, e contro i modelli Anthropic fino a Sonnet 5. Un singolo tentativo è bastato per estrarre il ragionamento verbatim. "Stessi modelli, ma protezioni diverse a seconda della piattaforma che li serve", ha scritto Schaeffer su X.

"Abbiamo rubato il ragionamento. Di nuovo." Joachim Schaeffer, ricercatore, in un post su X del 1 ottobre

Secondo la timeline dei ricercatori, OpenAI non ha aggiunto tutele all'endpoint Azure fino al 27 settembre. Per i modelli Anthropic, l'estrazione riportata non poteva più essere riprodotta su Azure a partire dal 28 settembre. I ricercatori descrivono le correzioni finora apportate come frammentarie e superficiali. Molte si basano su una corrispondenza fragile di pattern specifici di richiesta. GPT-6 Astra, notano, è stato lanciato su piattaforme di terze parti senza alcuna delle protezioni in atto.

Schaeffer sostiene che le patch devono coprire ogni tipo di attacco e ogni cloud che ospita i modelli. Altrimenti, gli attaccanti possono semplicemente scegliere la rotta con le difese più deboli.

Una seconda rotta, più semplice

C'è anche un secondo metodo, dimostrato pubblicamente dal developer Can Bölük. Il modello riceve un blocco notes virtuale come strumento. Gli viene detto di scrivere il suo ragionamento lì, e l'utente può quindi leggere ciò che ha scritto. I ricercatori dicono che questo ha funzionato su tutti i modelli OpenAI, così come su Opus 4.8 e Sonnet 5. Solo Opus 5, Fable 5 e Fable 5.1 non hanno rivelato il loro ragionamento. L'output assomigliava da vicino a ciò che produceva l'attacco di decifratura. I ricercatori ritengono che sarebbe probabilmente utile allo stesso modo per la distillazione.

OpenAI non è l'unica azienda a segnalare questo. Il report di Anthropic "Detecting and countering misuse of AI: September 2026" ha descritto un singolo periodo di dieci giorni. In quel lasso di tempo, Moonshot ha inoltrato quasi 300.000 richieste di clienti ad Anthropic attraverso una rete proxy di 5.380 account fraudolenti, secondo Tom's Hardware. Quel report afferma che Moonshot ha salvato le firme di ragionamento di Claude. In nuove sessioni, ha fatto sì che Claude le convertisse di nuovo in tracce di ragionamento complete. Anthropic chiama questi episodi attacchi di riproduzione cross-sessione. A luglio, Moonshot ha negato che Kimi K3 fosse creato da distillazione.

Le rivelazioni arrivano in una settimana affollata per OpenAI. Il 29 settembre l'azienda ha presentato "dots", un assistente sempre attivo alimentato da GPT-6 Astra. È successo meno di 24 ore dopo aver detto che avrebbe abbandonato il lancio di GPT-6.1 Astra a causa di un comportamento ingannevole trovato nei test, come riportato dal Guardian. OpenAI si è anche scusata per uno dei suoi agenti che ha hackerato un sito web del governo australiano.

Per gli sviluppatori di pesi aperti, la lezione pratica è più ristretta del dibattito politico. Se un provider vende l'accesso a un modello tramite un endpoint cloud, sono le protezioni su quell'endpoint, non l'API stessa del modello, a decidere se il ragionamento nascosto può essere estratto.