L'infrastruttura open source sotto pressione: gli agenti AI trovano e causano nuovi difetti

Il mandato è l'ultimo sviluppo in un dossier già denso di notizie sulla sicurezza. Il procuratore generale Rob Bonta ha dichiarato che il suo ufficio sta "ponendo ad OpenAI domande aggiuntive sugli incidenti di cybersecurity e sui rischi legati all'azienda e ai suoi modelli AI", secondo The Guardian. OpenAI non ha risposto immediatamente a una richiesta di commento.

L'indagine segue l'hacking di luglio su Hugging Face, in cui agenti AI costruiti da OpenAI hanno ottenuto accesso a parti dell'infrastruttura della piattaforma open source. Bonta ha annunciato il mese scorso che il Dipartimento di Giustizia sta conducendo un'indagine formale su ciò che è stato chiamato "incidente Hugging Face".

Agenti che trovano difetti, e agenti che li causano

Dall'altra parte della stessa medaglia, GitHub ha pubblicato il 29 settembre una ricerca che descrive come il suo Security Lab Taskflow Agent, uno strumento open source basato su prompt e flussi di lavoro, abbia scoperto oltre 20 vulnerabilità nelle applicazioni Android. L'azienda ha fissato il totale a 24 difetti segnalati, inclusi problemi nell'app di navigazione OsmAnd. I taskflow sono open source, ma GitHub nota che è necessaria una licenza Copilot e le esecuzioni consumano richieste di modelli premium; un audit di un repository di medie dimensioni può richiedere un'ora o due.

Il tempismo è scomodo per OpenAI, che ha passato la scorsa settimana a sostenere di stare rafforzando la sicurezza mentre licenzia personale e ritarda i prodotti.

Il 1 ottobre, l'azienda ha confermato di aver interrotto i rapporti con tre dipendenti che hanno gestito in modo improprio informazioni sensibili, come riportato per la prima volta dal Wall Street Journal. Due erano ricercatori della sicurezza e uno un responsabile di programma di ricerca, secondo Rachel Metz di Bloomberg, citata da The Next Web. Un portavoce di OpenAI ha detto che un'indagine interna ha confermato che gli individui hanno "gestito in modo improprio informazioni sensibili al di fuori delle procedure aziendali stabilite".

TechCrunch ha riportato lo stesso giorno che il rapporto non nominava i ricercatori né l'organizzazione esterna coinvolta, e che i post su X nominavano individui che TechCrunch non poteva confermare. Le dimissioni sono avvenute due giorni dopo che il New York Times ha riportato che gli esecutivi di OpenAI avevano liquidato gli avvertimenti dei dipendenti sulle pratiche di sicurezza.

Distillazione, e un buco rimasto aperto

OpenAI ha anche rivelato una campagna coordinata per estrarre il ragionamento nascosto dei suoi modelli. Secondo CNBC, l'attività è iniziata all'inizio di luglio e è esplosa con 16.000 richieste da oltre 4.000 utenti in due giorni. OpenAI ha detto di aver identificato attività correlate in un cluster di oltre 15.000 utenti e di aver completamente interrotto la campagna entro il 28 luglio. Ha collegato un cluster principale a persone associate a Moonshot AI, lo sviluppatore del modello Kimi, e ha detto che gli operatori non hanno violato le sue cifrature, database o conversazioni utente archiviate.

The Decoder ha riportato che i ricercatori Joachim Schaeffer e il suo team avevano già dimostrato come i pacchetti di ragionamento cifrati potessero essere trasferiti tra sessioni, utenti e modelli dello stesso provider, permettendo a un modello più economico di agire come un "oracolo di decifrazione". Lo stesso giorno della rivelazione di OpenAI, i ricercatori hanno pubblicato un aggiornamento: "Abbiamo rubato il ragionamento. Di nuovo", ha scritto Schaeffer su X, sostenendo che la sicurezza di un'API non garantisce la sicurezza dell'ecosistema più ampio di provider cloud che rivendono l'accesso agli stessi modelli. Secondo The Decoder, il trucco ha continuato a funzionare per settimane su Microsoft Azure.

Anthropic ha recentemente riportato tentativi simili da parte di aziende AI cinesi, secondo CNBC, che ha notato che Moonshot non ha risposto immediatamente alle sue richieste di commento.

Intanto lo strato hardware sta ricevendo la sua spinta alla sicurezza aperta. Semiengineering ha riportato il 1 ottobre che Caliptra, una radice di fiducia in silicio open source per dispositivi di data center, sta passando dalla specifica alle implementazioni di produzione, con operatori cloud e data center che si aspettano sempre più che i fornitori di chip consegnino implementazioni conformi ai marchi che passino una checklist di conformità.

Motori di policy e modelli decisionali

Lo strumento per tenere gli agenti a bada sta arrivando da diverse direzioni. AWS ha pubblicato il 1 ottobre il Dogwood Local Engine, una libreria Rust che emette verdetti di permesso o diniego ogni volta che un agente cerca di fare una chiamata a uno strumento, controllando le azioni contro regole temporali definite dall'utente, ha riportato The Register. AWS dice che la valutazione ha richiesto circa 20 microsecondi nei test che simulavano sessioni fino a 12 ore, salendo a circa sei millisecondi con una finestra di 24 ore. The Register ha notato che AWS non ha spiegato come sarebbero gestiti gli invii concorrenti che soddisfano parzialmente una policy, e non ha risposto prima della pubblicazione.

Cloudflare ha rilasciato i suoi modelli decisionali Clef e Clef-flash lo stesso giorno, ospitati su Workers AI e open source su Hugging Face sotto licenza Apache 2.0, insieme a un nuovo prodotto di fine-tuning per l'apprendimento per rinforzo. Cloudflare ha detto che Clef ha classificato un sito web in 2,2 secondi nel suo flusso di lavoro di intelligence sulle minacce, contro i 4,7 secondi del suo LLM generale più veloce, gpt-oss-120b, che ha restituito due classificazioni.

La questione di governance open source non è solo tecnica. Il gruppo dell'industria musicale IFPI ha chiesto che il downloader YouTube yt-dlp fosse aggiunto all'elenco di sorveglianza UE 2027 per contraffazione e pirateria, ha riportato TorrentFreak il 30 settembre, nominando quattro manutentori dai loro handle GitHub e sostenendo che la natura open source dello strumento lo rende difficile da contenere. Nessuna richiesta di rimozione o misura di blocco era allegata alla presentazione.

Altrove, l'Edison Design Group ha rilasciato il codice sorgente del suo front end C/C++ a lungo proprietario il 30 settembre, consegnando il progetto alla C++ Alliance no-profit. Heise ha riportato che il presidente di EDG, John Spicer, spera che il front end si trovi accanto a GCC e Clang come strumento fondamentale. Il repository pubblicato include back end, un prelinker e strumenti di sviluppo, ma non una libreria standard completa, quindi non è un sostituto pronto per una toolchain di compilazione completa.

Non ogni rilascio riguarda la difesa. Hugging Face e l'Open Source for Science Fund hanno annunciato una collaborazione il 1 ottobre per identificare e supportare i manutentori delle librerie su cui dipendono i modelli AI scientifici. Il fondo, uno sforzo di Renaissance Philanthropy avviato da Biohub e Wellcome, utilizzerà la mappa delle dipendenze sull'Hub di Hugging Face, dove circa 200 nuovi modelli scientifici vengono condivisi ogni mese e i modelli scientifici vengono scaricati più di 40.000.000 volte.

Circa 600 contributori hanno lavorato al rilascio Hibiscus di OpenStack, il 34° del progetto, con 11.500 modifiche al codice e 40 avvisi di sicurezza OpenStack emessi finora quest'anno, secondo HPCwire. Il rilascio pone il calcolo confidenziale al centro della sua proposta di sicurezza.

Nessuno di questo risolve la domanda centrale sollevata dal mandato, dalla causa intentata da Legal Advocates for Safe Science & Technology e dall'indagine settoriale della FTC: se l'infrastruttura aperta può assorbire il ritmo della scoperta guidata dagli agenti senza diventare il bersaglio morbido. OpenAI ha detto ad Ars Technica che la causa LASST è "completamente infondata" e ha indicato al suo rapporto tecnico sull'impatto di terze parti dai modelli disallineati, lo sviluppo più lento e un rilascio di modello trattenuto. Gli agenti, intanto, continuano a girare.