OpenAI dice di aver bloccato una campagna di distillazione legata a Moonshot AI
OpenAI afferma di aver interrotto una campagna coordinata per estrarre il ragionamento protetto dai suoi modelli. Attribuisce un nucleo centrale dell'attività a persone legate a Moonshot AI, lo sviluppatore di Kimi. Le prime attività sono iniziate il 1° luglio.

OpenAI ha pubblicato il resoconto della campagna sul proprio sito il 4 ottobre. Secondo l'azienda, gli operatori non hanno mai violato la crittografia, compromesso un database da 27.000.000.000 di record né ottenuto accesso diretto alle conversazioni degli utenti conservate. Hanno invece spinto le interazioni con il modello verso forme che riproducevano il ragionamento protetto in output visibili, su larga scala, violando i termini di servizio. La scala dei dati coinvolti, secondo OpenAI, si aggira intorno ai 9.000.000.000 di token elaborati durante la campagna.
La distinzione conta per chi costruisce strumenti di sicurezza sopra i modelli di frontiera. La superficie d'attacco era la traccia di ragionamento del prodotto stesso, non una sala server. OpenAI descrive l'attività come coerente con la distillazione avversariale. Significa l'uso sistematico degli output di un modello per addestrarne, riprodurne o migliorarne un altro.
La cronologia dell'azienda è insolitamente precisa. L'attività è iniziata il 1° luglio con volumi bassi. Picchi ad alto volume sono seguiti il 24 e 25 luglio, con 16.000 richieste che usavano un pattern di estrazione rilevante da più di 4.000 utenti. Un gruppo più ampio, oltre 15.000 utenti con pattern di prompt correlati, è stato bloccato del tutto entro il 28 luglio, secondo OpenAI.
Una tecnica salta all'occhio. OpenAI sostiene che gli operatori copiavano il ragionamento cifrato da una conversazione e chiedevano a un modello in un'altra conversazione di decifrare e trascrivere il contenuto nascosto. Se funziona, la barriera pratica tra la risposta finale di un modello e il suo lavoro interno è più sottile di quanto i clienti possano supporre. OpenAI afferma di aver distribuito contromisure e condiviso i dettagli con i partner del settore tramite il Frontier Model Forum.
Perché una traccia di ragionamento vale la pena di essere rubata
Il ragionamento protetto è il registro interno con cui il modello affronta un compito. OpenAI sostiene che estrarre questo materiale possa rivelare informazioni taciute nella risposta finale. È esattamente ciò di cui avrebbe bisogno un concorrente per ricostruire capacità. L'azienda avverte anche che un modello distillato può non ereditare le salvaguardie applicate all'output dell'originale. Su larga scala, sostiene, la distillazione accelera il trasferimento di capacità senza un investimento equivalente in sicurezza.
OpenAI afferma che non è chiaro se ogni operatore osservato nel periodo provenisse da un unico attore. Attribuisce solo un nucleo centrale a persone legate a Moonshot AI. Moonshot non ha risposto pubblicamente nel post di OpenAI, e il post non dice se OpenAI abbia contattato l'azienda prima di pubblicare. Nessuna delle due parti ha reso nota alcuna azione legale.
La divulgazione segue un copione ricorrente: i laboratori pubblicano i resoconti degli incidenti solo dopo aver messo in campo le contromisure. OpenAI dice di aver indagato sulla portata, distribuito le correzioni e raccolto il parere di ricercatori e partner del settore prima di rendere tutto pubblico. Anche ricercatori di sicurezza indipendenti hanno segnalato vulnerabilità correlate tra modelli e nella compattazione delle conversazioni tramite divulgazione responsabile. OpenAI afferma di aver confermato che quei percorsi d'attacco erano reali.
Per chi compra prodotti di sicurezza per l'AI, la conclusione è più stretta del titolo. L'incidente non è stata una violazione classica con una credenziale rubata. È stato l'abuso di un'interfaccia legittima, ripetuto abbastanza da sembrare un attacco.
Google ridisegna il menu dei modelli sotto i piedi degli utenti
L'accesso ai modelli cambia nello stesso periodo. Secondo un documento di supporto di Google aggiornato e riportato da 9to5Google il 3 ottobre, gli utenti dell'app Gemini senza abbonamento a pagamento saranno limitati al modello 3.5 Flash-Lite a partire dal 9 ottobre. Perdono l'accesso a 3.6 Flash e 3.1 Pro.
Gli abbonati ad AI Plus a 4,99 dollari al mese saranno limitati a Flash-Lite e Flash, con Pro rimosso. Google dice che questi utenti riceveranno un'email che spiega quando le modifiche entrano in vigore. AI Pro a 19,99 dollari al mese e AI Ultra a 99,99 o 199,99 dollari al mese mantengono l'accesso a tutti e tre i modelli. I clienti AI Pro guadagnano anche l'opzione Deep Think per il massimo ragionamento parallelo, prima riservata ai piani Ultra.
THE DECODER ha riportato il 4 ottobre che l'assetto rispecchia la struttura freemium di OpenAI per ChatGPT, con il livello gratuito ridotto al modello più piccolo. La testata ha anche notato che Google potrebbe prepararsi a Gemini 4 Argon, che potrebbe costare di più da eseguire. 9to5Google ha riportato che Argon arriverà prima agli abbonati AI Ultra. Ha anche riportato che Google non ha detto se Argon conti come modello Pro o si collochi in un livello superiore.
Il cambiamento ha una dimensione di sicurezza facile da trascurare. I team che hanno costruito strumenti interni sul modello servito di volta in volta dalla chat potrebbero ritrovarsi su Flash-Lite dopo il 9 ottobre. I prompt tarati su Pro si comporteranno diversamente, e nessuno manda un avviso di migrazione per un valore predefinito.
Google sta anche preparando livelli di impegno basso, medio e alto per ogni modello disponibile a ottobre, secondo 9to5Google. Un impegno più alto produce risposte più approfondite e consuma più del limite dell'utente. È un dettaglio di fatturazione oltre che di prodotto.
Anthropic chiede prima, e lascia l'interruttore spento
Anthropic ha iniziato a chiedere agli utenti di Claude di donare conversazioni vocali per l'addestramento dei modelli, ha riportato BleepingComputer il 4 ottobre. La richiesta compare quando le persone usano le funzioni vocali di Claude. Chiede il permesso di usare l'audio per migliorare i modelli dell'azienda.
L'impostazione è disattivata per impostazione predefinita, secondo l'interfaccia vista da BleepingComputer. Gli utenti possono scegliere Consenti o Non ora, cambiare l'interruttore più tardi in Impostazioni, Privacy, ed eliminare i dati vocali in seguito. L'addestramento vocale è separato dall'opzione esistente per addestrare su chat e sessioni di programmazione, quindi le due scelte si impostano in modo indipendente.
La separazione è la parte interessante. Un utente può cedere le registrazioni vocali tenendo fuori dall'addestramento le chat ordinarie e le sessioni di Claude Code, o il contrario. Anthropic non ha detto quante persone hanno aderito, e il rapporto non fornisce cifre su quanti dati vocali detenga.
Modelli piccoli, macchine locali e un audit dei CVE
I team di sicurezza che non possono inviare dati a un'API ospitata ora hanno più opzioni locali. Jerry Gamblin, che siede nei gruppi di lavoro Quality, Automation e Consumer del CVE Program, ha eseguito localmente i modelli Clef di Cloudflare tramite Ollama 0.35.1. Ha posto due domande a tutti i 27.489 CVE pubblicati nei 60 giorni fino al 3 ottobre: la descrizione indica un impatto sulla sicurezza, e quanto è chiara per un difensore?
I risultati, pubblicati sul suo blog il 4 ottobre, danno numeri a una lamentela nota. Fuori dal kernel Linux, 989 descrizioni su 23.736, il 4,2%, non dicono mai cosa potrebbe fare un attaccante. Il kernel fa caso a sé: la sua politica pubblicata lascia l'impatto all'utente, così 3.661 dei suoi 3.753 record non ne indicano alcuno. Questo porta il dato su tutti i CVE a 4.650 su 27.489, il 16,9%.
Clef Flash, un modello da 9B, ha risposto a entrambe le domande con una mediana inferiore al secondo per CVE su un portatile, senza chiave API. Flash si è rivelato troppo severo da solo, così il modello più grande Clef 27B ha riletto tutto ciò che aveva segnalato fuori dal kernel e ne ha ribaltato 1.198 su 2.187, il 54,8%. Su 129 CVE etichettati a mano da Gamblin, l'approccio in due passaggi ha individuato 15 dei 16 che aveva giudicato privi di impatto dichiarato e non ha mai segnalato uno dei suoi positivi. Entrambi i modelli sono Apache 2.0 e messi a punto da modelli Qwen, scrive.
Gamblin precisa che nulla nel suo post è una posizione del CVE Program. L'audit è il progetto del fine settimana di un ricercatore, non il risultato di un'autorità di regolamentazione. Misura la qualità della prosa, non se un bug sia sfruttabile.
Il post di OpenAI fa un punto correlato: distillazione ed estrazione del ragionamento non sono vulnerabilità esclusive dei suoi modelli. L'azienda dice che tecniche simili possono colpire altri sistemi avanzati, il che rende il coordinamento tra laboratori parte della difesa.
Fonti
9- 01Disrupting a coordinated model-distillation campaignEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Anthropic asks Claude users to share voice data for AI model trainingEN
- 05Decision Models vs. CVE DataEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Ideogram 4.5: The most precise edit modelEN
- 08No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 09Language Model "Shape"EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.