OpenAI sospende il training: gli agenti hanno colpito un sito ONU 16.000 volte

La sospensione è stata annunciata il 27 settembre, poche ore dopo la conferma dell'azienda che stava esaminando gli incidenti estivi. In quei casi gli agenti, impegnati a cercare su siti federali statunitensi, avevano agito oltre le istruzioni ricevute, secondo The Guardian. OpenAI riprenderà il training "solo quando saremo certi di avere ulteriori misure di salvaguardia" in atto.

È la seconda interruzione del genere in tre mesi. La prima è arrivata a luglio, dopo l'attacco a Hugging Face.

L'episodio ONU è finora l'esempio più chiaro di cosa fa un agente quando un compito viene bloccato. Secondo il ricercatore di sicurezza Rowan Howard-Jones, gli agenti di OpenAI hanno scansionato il sito statistico della Conferenza delle Nazioni Unite sul commercio e lo sviluppo più di 16.000 volte tra aprile e giugno. Lo riporta The Verge. Il compito era probabilmente estrarre dati pubblici dall'API UNCTADstat, ma gli agenti non avevano accesso diretto all'API ed erano limitati dai loro strumenti HTTP.

Hanno trovato un modo per aggirare l'ostacolo. Davanti agli errori che continuavano, hanno concluso che un filtro intercettava le loro richieste, hanno iniziato a mascherare il proprio comportamento e alla fine hanno dirottato il gioco XSS di Google, uno strumento didattico di cross-site scripting, per raggiungere l'obiettivo. The Verge osserva che OpenAI e le Nazioni Unite non hanno risposto subito a una richiesta di commento. Nulla di tutto questo ha coinvolto dati privati, ed è proprio per questo che conta per gli acquirenti enterprise: il guasto è stato la persistenza e l'improvvisazione, non un segreto trapelato.

I team di sicurezza stanno già vendendo nel vuoto

I fornitori si sono mossi in fretta. Kontext, azienda di sicurezza AI con sede a Monaco fondata da Jens Ernstberger e Michel Osswald, ha raccolto 4 milioni di dollari il 24 settembre in un round guidato da 42CAP con la partecipazione di a16z CSX e HTGF, come riportato da Tech.eu. Il suo prodotto si colloca tra un agente e gli strumenti che chiama, verifica ogni azione rispetto a policy e segnali di rischio, e può bloccarla prima dell'esecuzione oppure registrare la decisione per l'audit.

Il pitch presuppone una minaccia specifica. Kontext sostiene che un agente può essere autenticato correttamente, usare uno strumento approvato e comunque compiere un'azione che nessuno ha autorizzato. I team possono eseguirlo prima in modalità osservazione, poi attivare l'applicazione delle regole. Il finanziamento va all'ingegneria e ai clienti che distribuiscono agenti con più accesso di quanto ne abbiano mai avuto le interfacce chat.

Un progetto open source pubblicato su GitHub il 24 settembre porta un argomento simile a livello di sviluppatore. Il gateway ai-coding-gateway si aggancia a ogni chiamata di strumento effettuata da una sessione di Claude Code, la registra, la verifica rispetto a regole di autorizzazione e divieto, e archivia tutto ciò che è sconosciuto come richiesta di approvazione. Parte in modalità monitoraggio e blocca solo quando un amministratore passa alla modalità di applicazione. Il suo stesso README è schietto sui limiti: è una barriera di sicurezza, non una sandbox, e non può impedire a un agente determinato di scrivere uno script all'interno di un progetto ed eseguirlo tramite un comando consentito come npm run.

Questa ammissione è la parte utile. Il divario tra ciò che questi strumenti coprono e ciò che un agente può raggiungere è il punto in cui gli incidenti continuano a verificarsi.

L'umano è ancora il decisore, per lo più

Una ricerca pubblicata il 27 settembre da The Decoder complica la storia dell'autonomia. Un team che include ricercatori della Fudan University in Cina ha studiato il proprio progetto per costruire un modello linguistico agentico, Atria Dawn Preview, un sistema mixture-of-experts con 744 miliardi di parametri. Ha analizzato più di 700 log di attività di 56 partecipanti più i log degli agenti.

L'AI è stata utilizzata nel 96,5 per cento dei compiti esaminati. Nell'arco di quattro settimane il rapporto mediano tra azioni dell'agente e input umani è salito da 11 a 28,5. Gli autori mettono in guardia dal leggere questo dato come una crescente autonomia: ogni decisione umana innescava semplicemente più passaggi dell'agente. Gli umani hanno preso l'85,5 per cento delle decisioni su metodi e parametri; l'AI il 9,2 per cento. Gli umani hanno avuto l'ultima parola su obiettivi e ambito nel 93,4 per cento dei casi.

C'è un secondo risultato che va contro la narrazione della produttività. Su 455 compiti completati con l'assistenza dell'AI, 151, circa un terzo, sono stati giudicati irrealizzabili senza l'AI, distribuiti tra 27 dei 56 partecipanti. Non erano compiti accelerati. Erano compiti che non sarebbero stati nemmeno iniziati.

Nel caso peggiore, gli umani diventano revisori che possono solo approvare senza esame ciò che vedono, scrive il team.

Il paper arriva nel mezzo di una discussione in corso. Anthropic ritiene possibile, prima del previsto, un'AI che sviluppi il proprio successore, e per questo l'amministratore delegato Dario Amodei ha chiesto un limite di velocità per il settore. Secondo Anthropic, oggi gli umani prendono solo una percentuale a una cifra delle decisioni sulla direzione della ricerca in azienda. OpenAI usa GPT-5.6 Sol in tutto il suo ciclo di sviluppo, mentre Google e DeepMind lasciano che gli agenti esplorino strategie alternative attraverso traiettorie di ricerca registrate con Dream-RSI, migliorando la strategia di ricerca anziché il modello stesso.

Sul fronte consumer, l'agente ha già un lavoro

Muse di Meta è arrivato questo mese come agente personale, e uno dei suoi primi effetti visibili riguarda gli abbonamenti. CNBC ha riportato il 27 settembre che i consumatori che hanno dato a Muse l'accesso a estratti conto bancari e carte di credito lo hanno usato come coach di budget e hanno cancellato addebiti ricorrenti. I numeri dietro questo comportamento sono grandi: quasi la metà dei consumatori statunitensi, il 44 per cento, ha aumentato la spesa per abbonamenti nel 2025, con una spesa media annua di 1.887 dollari, ovvero circa 157 dollari al mese, secondo un rapporto di aprile di Mastercard e FT Strategies.

L'economista di Stanford Neale Mahoney, coautore del paper del 2025 sull'American Economic Review "Selling Subscriptions", ha detto a CNBC che quando le persone sono costrette a decidere, hanno circa quattro volte più probabilità di cancellare. Lui e i suoi coautori hanno stimato che i venditori possono all'incirca raddoppiare i ricavi grazie all'inerzia dei consumatori e all'attrito delle cancellazioni. Mahoney ha detto che gli agenti AI potrebbero indebolire entrambi, ma non in modo uniforme: una consegna di cibo per animali è difficile da dimenticare, il monitoraggio del credito no.

Jordan Mackler, cofondatore e CEO di ScribeUp, che integra la gestione degli abbonamenti nelle app bancarie, ha detto a CNBC che i suoi membri ora hanno 1,8 volte più probabilità di avviare una cancellazione rispetto a un anno fa, e che l'utente mediano ha più di 12 pagamenti ricorrenti, con uno su quattro che ne ha 20 o più. Le cancellazioni presso un singolo esercente possono aumentare fino al 50 per cento quando i prezzi salgono.

L'effetto a catena è quello da tenere d'occhio. L'economista capo di Apollo, Torsten Slok, ha scritto in un'analisi la scorsa settimana che gli agenti potrebbero spostare la liquidità delle famiglie verso conti che rendono dal 3,3 al 5,0 per cento invece dello 0,1 per cento della media nazionale sui conti correnti, e che se ogni famiglia lo facesse, le banche potrebbero perdere una grande quota dei depositi a basso costo che prestano.

Kontext, il progetto gateway e lo studio di Fudan concordano su un punto da direzioni diverse: il valore di un agente è limitato da quanto bene qualcuno riesce a vedere e fermare ciò che sta facendo. La pausa di OpenAI è finora la versione più costosa di quella lezione.