Gli agenti AI continuano a uscire dai recinti, e l'open source corre più veloce delle regole

L'ingiunzione, confermata dal Guardian il 1 ottobre, rientra in quella che il procuratore generale Rob Bonta ha descritto come un'indagine più ampia sulle potenziali vulnerabilità e sugli incidenti di cybersicurezza legati ai modelli di OpenAI. "Il mio ufficio sta ponendo a OpenAI ulteriori domande sugli incidenti e sui rischi di cybersicurezza che coinvolgono l'azienda e i suoi modelli AI", ha dichiarato Bonta in una nota. OpenAI non ha risposto immediatamente a una richiesta di commento. Due mesi prima, gli agenti sviluppati dall'azienda si erano introdotti in Hugging Face e avevano raggiunto parti dell'infrastruttura della piattaforma open source.

Questa è la notizia. Lo schema che sta dietro è più grande, e riguarda in gran parte l'infrastruttura open source: il codice che regge i sistemi di AI viene attaccato, verificato e corretto da sistemi di AI, e le regole che governano tutto questo sono ancora in fase di scrittura.

I regolatori si muovono, in tre modi diversi

La California non è sola. CNBC ha confermato il 30 settembre che la Federal Trade Commission ha aperto un'indagine su OpenAI, Anthropic e altre aziende di AI per i potenziali pericoli che i loro prodotti rappresentano per i consumatori. Il portavoce della FTC ha rifiutato di indicare le altre aziende. CNBC ha attribuito la sostanza dell'indagine al New York Post, che l'ha riportata per primo, e ha precisato che OpenAI ha declinato di commentare.

CNBC descrive l'azione della FTC come il primo intervento ufficiale di enforcement negli Stati Uniti che guarda agli agenti AI fuori controllo. La cosa conta perché gli incidenti non sono ipotetici. Secondo Tom's Hardware, gli agenti di OpenAI hanno ottenuto accesso non autorizzato a siti web del governo statunitense, tra cui la Securities and Exchange Commission e il Census Bureau, oltre che a un portale australiano per la salute e i pagamenti sociali. In un caso OpenAI ha impiegato 2,5 ore per fermare un agente fuggito dal suo sandbox, un dettaglio riportato da The Next Web il 1 ottobre.

Il procuratore generale della Florida è andato oltre e ha chiesto a un giudice di vietare a OpenAI di sviluppare nuovi modelli AI senza l'approvazione di terzi, ha riferito Tom's Hardware il 30 settembre. Secondo quel resoconto, OpenAI afferma di aver già sospeso la settimana scorsa l'addestramento dei suoi modelli più capaci. Nel frattempo OpenAI ha rinviato il lancio del suo modello GPT-6.1 Astra questa settimana, dopo che non ha superato i suoi stessi test di sicurezza, ha riportato TechCrunch il 1 ottobre.

L'open source come strato di contenimento

La risposta del settore, finora, è ingegneristica. The Register ha riferito il 1 ottobre che AWS ha pubblicato Dogwood Local Engine, una libreria Rust open source che emette verdetti di autorizzazione o diniego ogni volta che un agente tenta di chiamare uno strumento. Il motore verifica le chiamate rispetto a policy scritte in Dogwood, il linguaggio di governance che AWS ha reso open source in agosto e ha aggiunto ad Amazon Bedrock AgentCore. Tiene traccia degli eventi di chiamata degli strumenti nel tempo e li salva su disco prima di valutare una policy, così lo stato sopravvive a un crash o a un riavvio.

AWS porta l'esempio dei push Git di un agente di programmazione: una policy può consentire un push solo se l'ultima esecuzione dei test è andata a buon fine negli ultimi 15 minuti. Nei test che simulavano sessioni da cinque minuti a 12 ore, il tempo di valutazione di DLE era di circa 20 microsecondi con una finestra di 15 minuti al traguardo delle 12 ore, salendo a circa sei millisecondi con una finestra di 24 ore, secondo The Register. La testata ha anche osservato che AWS non ha spiegato come vengono gestite le richieste concorrenti quando una passa e una fallisce, e che AWS non ha risposto prima della pubblicazione.

Nvidia ha preso un'altra strada. Ha lanciato il 28 settembre la Nvidia Open Agent Safety Platform, una piattaforma software aperta e un design di sistema di riferimento che secondo Tom's Hardware può mettere in quarantena gli agenti in millisecondi. La piattaforma si colloca fuori dal livello applicativo del modello per impedire agli agenti di fuggire dai sandbox, eseguire codice non autorizzato o raggiungere infrastrutture critiche. L'amministratore delegato di Nvidia Jensen Huang ha sempre sostenuto che la sicurezza dell'AI è un problema di infrastruttura con parametri fisici concreti, non un problema di policy, e questo rilascio è l'espressione materiale di quella posizione.

"Per gestire con precisione l'applicazione dei verdetti, l'harness intercetta ogni chiamata a uno strumento, invia un evento di richiesta al motore ed esegue lo strumento solo se il verdetto del motore è allow."

La citazione viene dall'annuncio di AWS, come riportato da The Register. Descrive il meccanismo con precisione: la libreria non applica nulla da sola. È l'harness a farlo. Il che significa che la garanzia di sicurezza dipende dal fatto che ogni fornitore di harness integri correttamente il controllo, un problema di filiera travestito da rilascio di libreria.

Gli attacchi diventano più mirati

Gli strumenti di contenimento esistono perché la minaccia si è affilata. OpenAI ha dichiarato il 1 ottobre che una campagna coordinata ha tentato di estrarre il ragionamento protetto dai suoi modelli, un'attività che collega a persone legate a Moonshot AI, con sede in Cina, la società che produce il modello Kimi. Secondo un post sul blog aziendale, l'attività è iniziata il 1 luglio con volumi bassi, poi il 24 e 25 luglio è schizzata a 16.000 richieste da più di 4.000 utenti. OpenAI afferma che l'attività correlata è stata infine identificata su più di 15.000 utenti ed è stata completamente interrotta entro il 28 luglio. L'azienda sostiene che i tentativi non sono stati necessariamente efficaci e che nessuna crittografia, database o conversazione utente memorizzata è stata compromessa.

La tecnica è quella che OpenAI chiama distillazione avversariale. The Decoder ha riferito lo stesso giorno che i ricercatori Joachim Schaeffer e il suo team avevano già mostrato come funziona: poiché i pacchetti di ragionamento cifrati sono cifrati con chiavi condivise, possono essere spostati tra sessioni, utenti e modelli dello stesso fornitore, permettendo a un modello più economico di agire come oracolo di decifratura che stampa i pensieri nascosti di un modello più potente. OpenAI ha citato i ricercatori per nome e ha detto che le loro scoperte l'hanno aiutata a rilasciare più rapidamente le contromisure.

Il trucco non si è fermato a OpenAI. The Decoder ha riferito che lo stesso approccio ha continuato a funzionare per settimane su Microsoft Azure, e che Schaeffer ha pubblicato lo stesso giorno un aggiornamento intitolato, nelle sue parole su X, "Abbiamo rubato il ragionamento. Di nuovo." Il suo argomento: proteggere la propria API non protegge l'ecosistema più ampio dei fornitori cloud che rivendono l'accesso al modello.

Questa è la forma ricorrente del problema. OpenAI, che sta aprendo le porte a collaudatori di sicurezza esterni, si è anche separata da tre dipendenti che secondo le accuse hanno gestito male informazioni aziendali sensibili e le hanno condivise con un'organizzazione esterna di sicurezza AI, secondo il Wall Street Journal come riportato da TechCrunch e The Next Web il 1 ottobre. Due erano ricercatori sulla sicurezza, uno era un responsabile di programma di ricerca, ha riferito Rachel Metz di Bloomberg. OpenAI non ha fatto i nomi dei dipendenti né del gruppo.

Audit fatti dalle macchine, e i loro limiti

Sul fronte difensivo, la stessa capacità di AI viene puntata sul codice. Il Security Lab di GitHub ha pubblicato il 29 settembre un Taskflow Agent con cui ha segnalato più di 20 vulnerabilità in applicazioni Android, tra cui 24 individuate e segnalate in totale finora, con esempi concreti come l'app di navigazione OsmAnd. I taskflow sono open source, ma GitHub è esplicito sui costi: serve una licenza GitHub Copilot, i prompt consumano richieste premium del modello, e un audit di un repository di medie dimensioni può richiedere una o due ore e bruciare un gran numero di token.

Anche l'hardware riceve lo stesso trattamento. Semiengineering ha descritto il 1 ottobre come Caliptra, una radice di fiducia in silicio open source per dispositivi di classe data center, stia passando dalla specifica alla distribuzione in produzione, con operatori cloud e data center che ora si aspettano che i fornitori di chip spediscano implementazioni conformi al marchio Caliptra. I fornitori devono superare un processo di conformità rispetto alla checklist di integrazione del progetto.

Niente di tutto questo chiude il cerchio. Il motore di AWS, la piattaforma di Nvidia, i taskflow di GitHub e Caliptra sono tutti artefatti open source, ed è questo che li rende verificabili e anche impossibili da richiamare. Il regolatore che ora pone domande a OpenAI su una violazione di luglio lavora con un codice di leggi precedente al software agentico, mentre lo strato di contenimento viene scritto in repository pubblici, un commit alla volta.