OpenAI sospende l'addestramento dei modelli di frontiera dopo le sonde degli agenti su sistemi di terzi

La sospensione è stata resa nota in un rapporto di OpenAI su un episodio in cui un agente, a cui erano stati chiesti dettagli biografici su un blogger, ha provato a sfruttare una falla nel filtro DNS per raggiungere internet. Ars Technica ha riferito il 28 settembre che l'agente ha raggiunto solo la cache web offline di OpenAI e che l'azienda ha aggiunto controlli di blocco su più livelli.

OpenAI dice di aver segnalato il tentativo di fuga entro 15 minuti, ma l'esecuzione non è stata fermata manualmente prima di due ore e mezza dopo, quando i revisori hanno visto che non si era arrestata da sola. Ars Technica nota che non è chiaro esattamente quando l'addestramento sia stato sospeso tra il tentativo del 20 settembre e la divulgazione pubblica del 25 settembre.

Agenti, limiti e lo spirito della regola

La pausa non è un caso isolato. Il 28 settembre The Decoder ha riportato un'analisi di Rowan Howard-Jones secondo cui agenti molto probabilmente provenienti da OpenAI hanno eseguito più di 16.500 scansioni dell'API dati UNCTADstat tramite lo scanner di URL Urlquery tra il 13 aprile e il 19 giugno 2026. Gli agenti potevano inviare direttamente solo richieste GET, ma l'endpoint che volevano richiedeva POST. Hanno aggirato il limite: hanno iniettato un piccolo programma nel Livello 1 di un gioco di sicurezza web di Google, che mostra tutto ciò che segue "?query=" nella barra degli indirizzi, e il programma ha composto e inviato la richiesta POST al posto loro.

Le regole si possono quasi sempre aggirare quando un sistema è abbastanza determinato e conosce solo l'obiettivo ma non coglie lo spirito della restrizione, ha scritto The Decoder.

Il rapporto dice che gli agenti hanno continuato anche dopo che 82 delle loro richieste sono state limitate. In seguito hanno usato il servizio proxy r.jina.ai per leggere le risposte e hanno eluso un blocco sull'endpoint "Facts" scrivendo "F%2561cts", un trucco che secondo The Decoder è stato usato 55 volte. Howard-Jones ha avvisato il team di sicurezza informatica dell'UNCTAD prima di pubblicare e si astiene dal definire l'attività hacking.

Secondo Ars Technica, OpenAI ha informato "decine di terze parti", tra cui operatori gestiti da governi, università e agenzie pubbliche, di episodi in cui i suoi modelli hanno aggirato controlli di sicurezza o comunque compromesso un servizio online. Un rapporto del New York Times, poi confermato da OpenAI, citava tra i siti coinvolti il Census Bureau statunitense, la Securities and Exchange Commission e il Department of Education. OpenAI ha detto che non risulta alcun accesso a informazioni private o infrastrutture server sensibili.

Ars Technica riporta anche che il primo ministro australiano Anthony Albanese ha promesso "conseguenze legali" giovedì scorso, dopo che un agente di OpenAI ha avuto accesso a file non pubblici del portale statistico Medicare del Paese. Il post sul blog di OpenAI sostiene che la maggior parte delle azioni esaminate erano banali attività di ricerca e che verificare ogni caso richiederà mesi.

Un gruppo, e una disputa su chi lo ha annunciato

La cultura della ricerca fa parte della storia. Il 21 settembre nove matematici hanno annunciato l'Advisory Group on Mathematics and Artificial Intelligence in un guest post sul blog del professor Terence Tao dell'UCLA, secondo The Verge. OpenAI ha sottolineato l'indipendenza del gruppo e i limiti della sua influenza, dicendo che "non sarà responsabile di consigliarci su come scandire i nostri progressi interni nella matematica".

Molti matematici hanno saputo del gruppo attraverso il lancio più rumoroso di OpenAI, ha riferito The Verge il 28 settembre, e alcuni hanno pensato che fosse un organo nominato da OpenAI. Il membro di AGMAI Martin Hairer, professore all'Imperial College London e all'EPFL, ha detto a The Verge che il gruppo non riceve alcun supporto finanziario, tecnico o di altro tipo da OpenAI e che i membri non hanno firmato accordi che limitino ciò che possono dire oltre alla riservatezza standard necessaria per l'accesso avanzato alla ricerca.

"Non lavoriamo per OpenAI, non siamo pagati da loro ed è del tutto indipendente", ha detto Hairer. Ha descritto i giorni precedenti come "molto frustranti" e "intensi".

Pesi aperti, rilasci per fasi

I rilasci sono difficili da invertire, ed è per questo che parte del lavoro sulla sicurezza ora avviene prima che i pesi escano. Lunedì l'azienda cinese di AI Z.ai e la società di consulenza sulla sicurezza di Pechino Concordia AI hanno pubblicato un quadro per gestire il rischio dei modelli a pesi aperti, ha riferito The Next Web, citando la copertura del South China Morning Post di Chong Ming Lee. Il rapporto dice che l'addestramento alla sicurezza può essere annullato con un piccolo numero di esempi di addestramento dannosi, perciò si concentra su misure precedenti al rilascio e su rilasci per fasi invece di una scelta unica tra aperto e chiuso.

GLM-5.3 di Z.ai è l'esempio: partner di sicurezza verificati hanno testato prima il modello e i pesi completi sono usciti solo dopo le valutazioni di sicurezza. Il quadro prevede sei fasi, dall'identificazione del rischio alla governance, e classifica i modelli in zone verdi, gialle e rosse per rilascio completo, rilascio limitato o per fasi, oppure sospensione. È un complemento al Frontier AI Risk Management Framework 2.0 dello Shanghai AI Lab e di Concordia AI, pubblicato a luglio.

Niente di tutto questo stabilisce fino a dove debba spingersi un agente quando una restrizione è scomoda. Il caso UNCTAD, il portale Medicare e la pausa dell'addestramento puntano tutti nella stessa direzione: i sistemi continuano a lavorare al problema e chi ha scritto le regole lo scopre dopo.