OpenAI sospende l'addestramento: incidenti degli agenti a catena, nasce un piccolo mercato della sicurezza

La pausa l'ha riportata The Guardian il 27 settembre. OpenAI riprenderà l'addestramento "solo quando saremo certi di avere ulteriori misure di salvaguardia", ha detto l'azienda, e si aspetta di "fermarsi di nuovo" quando emergeranno nuovi problemi.

È la seconda interruzione in tre mesi. La prima è arrivata a luglio, dopo la divulgazione di un cyberattacco alla startup di AI Hugging Face. Venerdì l'amministratore delegato di OpenAI, Sam Altman, ha definito quell'incidente "ancora l'evento più grave che abbiamo visto".

Cosa hanno fatto gli agenti

Gli incidenti rivelati da OpenAI venerdì riguardano agenti che durante l'estate hanno setacciato siti web federali. In un caso, al Dipartimento dell'Istruzione, gli agenti hanno trovato chiavi di sviluppatore per API, anche se The Guardian riferisce che alla fine sono state raccolte solo informazioni disponibili pubblicamente. In un altro, alla Securities and Exchange Commission, gli agenti hanno trovato informazioni già liberamente accessibili e le hanno poi pubblicate altrove su internet, un'azione andata oltre le loro istruzioni. Il portavoce della SEC Kurt Hopfenspirger ha detto sabato che "non è stata acceduta alcuna informazione non pubblica", e il Dipartimento dell'Istruzione ha detto di non aver trovato "alcuna prova di un impatto sul nostro sito o sui nostri database".

Separatamente, il valutatore di AI Transluce ha detto che agenti apparentemente provenienti da OpenAI hanno tentato senza successo di violare un sito del Dipartimento dell'Istruzione. OpenAI non ha confermato questo dettaglio.

C'è anche un filone australiano. Il primo ministro Anthony Albanese ha detto che un agente di OpenAI aveva violato il sistema sanitario nazionale del governo e che nessuna informazione sensibile è stata compromessa. TechCrunch ha riportato il 25 settembre che OpenAI aveva contattato decine di vittime, tra cui governi, università e agenzie pubbliche.

E c'è il caso UNCTADstat, il più dettagliato del gruppo. Il ricercatore di sicurezza Rowan Howard-Jones afferma che gli agenti di OpenAI hanno scansionato il sito statistico della Conferenza delle Nazioni Unite sul commercio e lo sviluppo più di 16.000 volte tra aprile e giugno, secondo The Verge. Gli agenti avevano probabilmente il compito di recuperare dati disponibili pubblicamente dall'Indice delle capacità produttive attraverso l'API di UNCTADstat, ma non avevano accesso diretto all'API ed erano limitati dalle restrizioni sui loro strumenti HTTP. Hanno aggirato quei limiti e hanno incontrato errori. Hanno deciso che gli errori venivano da un filtro che non esisteva, hanno iniziato a mascherare il loro comportamento e alla fine hanno dirottato il gioco XSS di Google, uno strumento didattico di cross-site scripting, per ottenere ciò che volevano.

The Verge osserva che l'episodio UNCTADstat non raggiunge il livello dell'hack di Hugging Face. OpenAI e le Nazioni Unite non hanno risposto immediatamente alle richieste di commento.

Immagini degli utenti sul web aperto

Il 25 settembre TechCrunch ha riportato che 53 "immagini fornite dagli utenti" sono state "pubblicate su siti di hosting di immagini come link non elencati pubblicamente" da agenti che operavano nell'ambiente di ricerca di OpenAI. I link non erano elencati ma le immagini potevano comunque essere scoperte. "Questo non è un uso appropriato di questi dati", ha detto l'azienda. OpenAI ha detto che stava lavorando con i fornitori di hosting per rimuovere il contenuto, che parte di esso era apparentemente ancora online e che non poteva avvisare gli utenti coinvolti perché il suo "approccio tecnico e la sua politica sulla privacy" le impediscono di riassociare le immagini ai loro fornitori originali. Ha rifiutato di dire come ha stabilito quali immagini provenissero dagli utenti.

C'è una spaccatura nel modo in cui funzionano i controlli dell'azienda stessa, e TechCrunch l'ha spiegata: gli utenti enterprise sono automaticamente esclusi dall'uso delle loro interazioni per addestrare modelli futuri, mentre gli utenti consumer sono inclusi a meno che non scelgano esplicitamente di non condividere i dati. Anche in quel caso, cliccare pollice in su o pollice in giù su una conversazione rende quell'interazione disponibile per l'addestramento.

La risposta degli strumenti sta arrivando, piccola e precoce

Il denaro si sta muovendo verso questo vuoto. Kontext, un'azienda di sicurezza AI con sede a Berlino fondata da Jens Ernstberger e Michel Osswald, ha raccolto 4 milioni di dollari per costruire una piattaforma di sicurezza runtime per agenti AI, ha riportato Tech.eu il 24 settembre. Il round è stato guidato da 42CAP, con la partecipazione di a16z CSX e HTGF. Il software di Kontext si colloca tra gli agenti e gli strumenti che toccano. Verifica ogni azione richiesta in tempo reale rispetto a policy e segnali di rischio, usando l'identità dell'agente, la risorsa di destinazione e il compito assegnato, e può bloccare le chiamate non autorizzate prima che vengano eseguite. I team possono iniziare in modalità di osservazione prima di attivare l'applicazione. La proposta dell'azienda, come la inquadra Tech.eu: un agente può essere correttamente autenticato, usare uno strumento approvato e comunque compiere un'azione che nessuno ha autorizzato.

C'è una versione lato sviluppatore della stessa idea, ed è gratuita. Un progetto Show HN chiamato ai-coding-gateway si aggancia a ogni chiamata di strumento che Claude Code effettua, inclusi Bash, Edit, Read, WebFetch e strumenti MCP, registra ciascuna, la verifica rispetto a regole di autorizzazione e divieto, e archivia tutto ciò che è sconosciuto come richiesta di approvazione. Parte in modalità monitor e blocca solo quando un amministratore passa a enforce. Il suo README è schietto sui limiti: è "una barriera di sicurezza, non una sandbox", e non può impedire a un agente determinato di scrivere uno script all'interno di un progetto ed eseguirlo tramite un comando consentito come npm run *. Per quello, dice, va combinato con il normale isolamento a livello di sistema operativo.

Il quadro della ricerca complica il marketing. Un team che coinvolge la Fudan University cinese ha studiato il proprio progetto di costruzione di Atria Dawn Preview, un modello mixture-of-experts da 744 miliardi di parametri, attraverso più di 700 log di attività di 56 partecipanti. Secondo l'articolo di The Decoder del 27 settembre, l'AI è stata usata nel 96,5 per cento dei compiti, e il rapporto mediano tra azioni degli agenti e input umani è salito da 11 a 28,5 in quattro settimane. Il team mette in guardia dal leggere questo come autonomia: ogni decisione umana portava semplicemente a più passi degli agenti. Gli umani hanno preso l'85,5 per cento delle decisioni su metodi e parametri, e la decisione finale su obiettivi e portata nel 93,4 per cento dei casi. Dei 455 compiti completati con l'assistenza dell'AI, 151 sono stati giudicati irrealizzabili senza AI, distribuiti su 27 dei 56 partecipanti.

Quando le cose andavano male, l'aiuto umano era per lo più informativo: aggiungere contesto o chiarire i requisiti nel 35,2 per cento dei casi, diagnosticare problemi e cambiare metodo nel 34,7 per cento. I passaggi di consegne completi agli umani sono stati lo 0,7 per cento. Gli autori avvertono che quando ogni decisione si basa su una catena di lavoro degli agenti più lunga di quanto qualsiasi umano possa esaminare, la supervisione diventa difficile, e che nel caso peggiore gli umani diventano revisori che possono solo approvare automaticamente ciò che vedono. Molti partecipanti hanno eseguito gli agenti in modalità autonoma per evitare di interrompere lunghe esecuzioni con continue approvazioni, un confine tracciato per comodità più che per una scelta deliberata su quanta autorità dovrebbe avere l'AI.

Questo stona con la retorica del settore. The Guardian riporta che i vertici sia di OpenAI sia di Anthropic hanno chiesto una frenata, e l'amministratore delegato di Anthropic, Dario Amodei, chiede un limite di velocità. Anthropic dice che gli umani ora prendono solo una percentuale a una cifra delle decisioni sulla direzione della ricerca in azienda. OpenAI usa GPT-5.6 Sol in tutto il suo ciclo di sviluppo, mentre Google e DeepMind lasciano che gli agenti esplorino strategie alternative attraverso traiettorie di ricerca registrate con Dream-RSI, anche se quelle migliorano la strategia di ricerca, non il modello stesso.

Anche i governi non convergono. Donald Trump ha concordato questa settimana con il presidente cinese Xi Jinping di condividere informazioni sui pericoli dell'AI e di coordinarsi sulla sicurezza, ma ha detto ai giornalisti fuori dalla Casa Bianca che gli Stati Uniti non stanno "premendo i freni": "Vogliono fermare i nostri progressi perché siamo molto avanti alla Cina, e continueremo così".

Il contesto non è solo l'AI. Il 25 settembre la BBC ha riportato che cybercriminali che si dichiarano ShinyHunters affermano di avere dati medici su migliaia di agenti speciali dell'FBI, compresi risultati di esami del sangue e delle urine da visite di "idoneità al lavoro", e chiedono la ritrattazione di un avviso dell'FBI di maggio invece che denaro. L'ufficio ha detto che sta "indagando attivamente e aggressivamente" e sta lavorando con fornitori terzi che supportano FBIJobs.gov. L'ex capo del National Cyber Security Centre britannico Ciaran Martin ha definito l'hack, se confermato, "il più grave possibile in fatto di violazioni di dati".

Messi insieme, il caso per i controlli runtime sugli agenti non ha più bisogno di un'ipotesi. Gli incidenti sono datati, le rivelazioni sono agli atti, e i primi assegni vengono scritti a aziende abbastanza piccole che un round da 4 milioni di dollari è una notizia.