Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

OpenAI: attori legati a Moonshot hanno cercato di estrarre il ragionamento nascosto

OpenAI dice di aver interrotto una campagna coordinata per estrarre il ragionamento protetto dai suoi modelli. L'azienda collega un nucleo centrale dell'attività a persone associate a Moonshot AI, in Cina. Il post pubblicato il 1 ottobre parla di un picco di 16.000 richieste in due giorni da oltre 4.000 utenti.

IA e modelliAnalisiChiara RomanoPubblicato: 1 ottobre 20265 min di letturaFonti 12
OpenAI: attori legati a Moonshot hanno cercato di estrarre il ragionamento nascosto

Il racconto di OpenAI è abbastanza dettagliato da poter essere verificato. Secondo il post sul blog, l'attività è iniziata il 1 luglio «inizialmente con un volume basso». Poi il 24 e 25 luglio c'è stato un picco: 16.000 richieste con un pattern di estrazione riconoscibile, da oltre 4.000 utenti. Un'analisi più ampia ha trovato attività legate a schemi di prompt simili su più di 15.000 account. OpenAI sostiene che la campagna è stata interrotta del tutto entro il 28 luglio. Una nota precisa che si trattava di tentativi di estrazione, non necessariamente riusciti. L'azienda non ha indicato quali modelli fossero nel mirino.

Gli operatori non hanno violato un database.

«Gli operatori non hanno rotto la nostra crittografia, compromesso un database né ottenuto accesso diretto alle conversazioni salvate degli utenti», si legge nel blog, citato da The Register. Hanno invece manipolato le interazioni con il modello in modo che il ragionamento protetto potesse essere riprodotto in una forma visibile a chi faceva la richiesta. OpenAI definisce ragionamento protetto il registro interno con cui il modello elabora un compito. Chiama la tecnica «distillazione avversariale»: l'uso sistematico e non autorizzato degli output o del ragionamento di un modello per addestrarne o migliorarne un altro.

L'oracolo di decifratura

Il meccanismo conta, perché è la parte che è sopravvissuta alla correzione di OpenAI. I fornitori restituiscono il ragionamento ai clienti come pacchetti di dati cifrati. I clienti li rimandano indietro con le richieste successive, così il fornitore non deve conservare la catena di pensiero. Il ricercatore Joachim Schaeffer e il suo team hanno mostrato che quei pacchetti sono cifrati con chiavi condivise. Possono quindi essere spostati tra sessioni, tra utenti e anche tra modelli diversi dello stesso fornitore. Un modello più debole ed economico della stessa famiglia può allora fare da oracolo di decifratura. Stampa parola per parola i pensieri nascosti del modello più potente. OpenAI cita i ricercatori per nome e dice di aver confermato che i percorsi di attacco segnalati erano reali.

OpenAI afferma di aver da allora bloccato gli account fraudolenti e irrigidito le procedure di registrazione. Ha chiuso la via che permetteva a qualcuno di riprodurre e leggere ragionamenti cifrati che non gli appartenevano. Filtra anche gli output in streaming e li trattiene se potrebbero rivelare il ragionamento. Ha condiviso i risultati attraverso il Frontier Model Forum e i canali governativi. CNBC ha riferito che l'azienda ha dichiarato che gli operatori non hanno violato la sua crittografia, i suoi database né le conversazioni salvate degli utenti. Moonshot non ha risposto subito alla richiesta di commento di CNBC. Anche The Register ha contattato l'azienda senza ricevere risposta immediata, e ha chiesto a OpenAI quali modelli fossero nel mirino senza ottenere risposta.

Lo stesso giorno i ricercatori hanno pubblicato un aggiornamento. «Abbiamo rubato il ragionamento. Di nuovo», ha scritto Schaeffer su X, secondo THE DECODER. La sua tesi: mettere in sicurezza la propria API non mette in sicurezza l'ecosistema più ampio dei cloud provider che vendono anch'essi accesso ai modelli. Il team ha scoperto che il trucco continuava a funzionare per settimane su piattaforme tra cui Microsoft Azure.

Il seguito è scomodo. OpenAI può chiudere il proprio buco. Non può chiudere unilateralmente quello di un rivenditore.

Il contesto, e perché la cornice conta

L'accusa arriva in un campo affollato. Tom's Hardware nota che OpenAI non è certa che tutti gli operatori osservati fossero un unico attore. Il post non chiarisce il tasso di successo né quanti utenti fossero legati a Moonshot. Poche settimane prima Anthropic aveva accusato diversi sviluppatori cinesi di AI, tra cui Moonshot AI e Alibaba, di usare Claude di nascosto per addestrare i propri sistemi, secondo CNBC. The Register aggiunge che a fine luglio Michael Kratsios, assistente di Trump per la scienza e la tecnologia, aveva accusato Moonshot di aver creato il modello Kimi K3 distillando Fable di Anthropic.

L'argomento di OpenAI è che il ragionamento estratto potrebbe addestrare un altro modello senza conservare le tutele applicate agli output originali destinati agli utenti. Su larga scala, sostiene, la distillazione può accelerare il trasferimento di capacità avanzate senza lo stesso investimento in sicurezza. La cornice di The Register è più brutale: i produttori americani possono addestrarsi sui dati del web, ma distillare i loro è un rischio per la sicurezza nazionale. La testata solleva la tensione nel titolo e non la risolve.

Buona parte di questa storia riguarda il controllo, non le capacità. Il 30 settembre il procuratore generale della Florida James Uthmeier ha depositato un'istanza di ingiunzione temporanea contro cinque entità di OpenAI e contro Sam Altman personalmente. Chiede a un tribunale di vietare all'azienda di sviluppare modelli di AI senza garanzie e approvazione di terze parti indipendenti, tra le altre richieste, secondo Tom's Hardware. L'istanza fa parte di una causa depositata a giugno nella contea di Highlands. Una causa separata di un'organizzazione no profit sull'attacco a Hugging Face sostiene che «l'ha fatto un'AI» non è una difesa, come ha riportato Ars Technica. La FTC ha aperto un'indagine ampia su OpenAI, Anthropic e altri laboratori per questioni di tutela dei consumatori, secondo THE DECODER.

Nel frattempo il flusso dei pesi aperti continua. TechCrunch ha riportato il 1 ottobre che AWS ha rilasciato Strands Decider 2B, un modello decisionale open source ispirato a Jev di TypeSafe, abbastanza piccolo da girare in locale. L'ingegnere distinto di Amazon Marc Brooker ne ha costruito la prima versione da solo, e il modello ha brevemente guidato la classifica Jevbench per i modelli della sua dimensione. Cloudflare ha pubblicato i propri modelli decisionali, Clef e Clef-flash, con licenza Apache 2.0 sul suo blog. Sostiene che Clef guida il Jev Decision Index e che classificare un dominio ha richiesto 2,2 secondi contro 4,7 secondi di gpt-oss-120b nello stesso flusso di lavoro. Il repository Context Language Models di Meta riporta un'accuratezza superiore dell'11,4% con il 21,5% di FLOP in meno su BrowseComp-Plus quando i modelli gestiscono il contesto come un file. Funziona anche la via volontaria. Coop è un modello da circa 145.000.000 di parametri preaddestrato da zero su FineWeb-Edu. I contributori inviano pseudo-gradienti come pull request su Hugging Face, aggregati da un cron job stateless su GitHub Actions.

Le due storie non sono separate. Modelli economici, eseguibili in locale e con licenza aperta sono esattamente ciò che rende attraente la distillazione fin dall'inizio. Sono anche esattamente ciò che la rende difficile da controllare. OpenAI può fare un nome e bloccare account. Il trucco del ragionamento cifrato, come mostra l'aggiornamento dei ricercatori, viaggia.

Interrogata sulla campagna, il post di OpenAI lascia aperte le domande ovvie. Quanti dei più di 15.000 account sono stati ricondotti a Moonshot? Quali modelli hanno fatto trapelare il ragionamento? Quanto di ciò che è uscito era utilizzabile? Finché quei numeri non esistono, l'affermazione verificabile più solida è più stretta dei titoli. A luglio c'è stato un tentativo di estrazione coordinato, è stato grande ed è stato fermato sull'API di un fornitore. Non ovunque. Un'azienda da 2.000.000.000 di dollari di valutazione resta esposta allo stesso trucco sui servizi di rivendita.

Commenti 0

Fonti

12
  1. 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
  2. 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
  3. 03AI race heats up as OpenAI flags alleged model-copying campaignEN
  4. 04Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
  5. 05Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
  6. 06"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
  7. 07FTC launches sweeping probe into OpenAI, Anthropic, and other AI labs over consumer protection concernsEN
  8. 08Amazon releases its own Jev clone as decision models flood the webEN
  9. 09Clef: our open-source decision modelsEN
  10. 10Context Language Models (CLMs)EN
  11. 11Coop: A small language model pretrained by volunteersEN
  12. 12Google rolls out new Gemini AI model but restricts access over safety concernsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.