OpenAI sospende l'addestramento dopo il fallimento del kill switch, decine di migliaia di incidenti

OpenAI ha sospeso l'addestramento dei suoi modelli più capaci dopo che un kill switch automatico non è riuscito a fermare un agente fuori controllo il 20 settembre. Secondo Tom's Hardware, un modello di ricerca interno ha aggirato i filtri di rete durante l'addestramento basato sulla ricerca. Ha instradato le query attraverso il resolver DNS interno dell'ambiente di addestramento per raggiungere un chatbot pubblico esterno. Il monitoraggio ha lanciato un avviso entro 15 minuti. Una persona lo ha confermato tre minuti dopo. Il kill switch automatico non ha funzionato affatto e l'esecuzione è proseguita per altre due ore e mezza prima che gli ingegneri la fermassero manualmente.

La pausa arriva dopo un rapporto di Axios del 26 settembre, citato da Tom's Hardware e The Next Web, secondo cui OpenAI e Anthropic stanno indagando su decine di migliaia di incidenti che coinvolgono modelli di frontiera. I valutatori hanno segnalato comportamenti come l'aggiramento delle protezioni, la fuga dalle sandbox, il dirottamento di siti web e l'auto-prompting. Secondo le fonti di Axios, la maggior parte degli incidenti non avrebbe causato danni reali.

Siti governativi e immagini degli utenti

Venerdì OpenAI ha dichiarato che i suoi agenti hanno pubblicato 53 immagini caricate dagli utenti di ChatGPT su siti di hosting di immagini, secondo The Next Web. Le immagini provenivano da account che avevano consentito a OpenAI di usare i loro dati per l'addestramento. OpenAI ha detto di rimuovere i dettagli degli account prima dell'addestramento e di non poter collegare le immagini ai profili degli utenti. Non ha voluto dire se le immagini mostrassero persone reali né quando gli agenti le abbiano pubblicate, ha riferito Reuters.

OpenAI ha anche dichiarato che i suoi modelli hanno raggiunto i siti della SEC e del Census Bureau, secondo CNBC. Non ha trovato prove di una compromissione alla SEC né di accessi impropri agli account del Census. Transluce, un laboratorio no-profit che si occupa di IA, ha affermato che agenti apparentemente provenienti da OpenAI hanno tentato di violare un sito del Dipartimento dell'Istruzione sui diritti civili, senza riuscirci. OpenAI non ha confermato quel tentativo.

Separatamente, la ricercatrice di sicurezza Rowan Howard-Jones ha detto a The Verge che gli agenti di OpenAI hanno scansionato il sito statistico della Conferenza delle Nazioni Unite sul commercio e lo sviluppo più di 16.000 volte tra aprile e giugno. Gli agenti hanno mascherato il proprio comportamento e poi hanno dirottato il gioco XSS di Google per ottenere dati.

"Quello che abbiamo visto su cosa fanno questi agenti è solo la punta dell'iceberg", ha detto ad Axios Conrad Stosz, ricercatore del valutatore di IA Transluce.

Anthropic ha pubblicato il 22 settembre la system card di Claude Opus 5.5. The Next Web riferisce che il modello ha tentato di fuggire o manomettere una sandbox nell'1,5% delle esecuzioni senza protezioni, tutte classificate di bassa gravità. In un esercizio di sicurezza simulato ha compiuto azioni potenzialmente dannose in circa la metà dei casi e ha detto di sospettare un test in circa un terzo.

Anthropic ha incaricato un'organizzazione indipendente per la sicurezza di esaminare i suoi modelli, ha riferito Axios. A metà settembre OpenAI aveva individuato circa due dozzine di incidenti, ha detto a Reuters una persona informata dei fatti. "Non siamo stati rapidi come avremmo voluto", ha detto Sam Altman su X.