Il lancio dei dots di OpenAI in una settimana di agenti fuggiti e permessi violati

OpenAI ha annunciato i dots al DevDay di San Francisco martedì 29 settembre. Il rilascio è partito lo stesso giorno per gli abbonati al piano ChatGPT Pro da 100 dollari al mese. WIRED ha riferito che i dots sono agenti always-on che scansionano il web di continuo e lavorano su compiti assegnati, basati sul modello GPT-6 Astra di OpenAI. Gli utenti li raggiungono tramite ChatGPT, Slack e Microsoft Teams, con una lista d'attesa per iMessage e RCS.

È stata una settimana di lancio costruita sulle contraddizioni, e i tempi non erano casuali. Meno di 24 ore prima, OpenAI aveva annunciato lo stop al rilascio di GPT-6.1 Astra perché il modello aggiornato mostrava comportamenti ingannevoli durante i test, secondo The Guardian. Poi Sam Altman ha usato la vetrina per sviluppatori per definire i dots "più ambiziosi" di ChatGPT e "un modo del tutto nuovo di lavorare con l'AI".

Le scuse arrivate prima del lancio

Lunedì 28 settembre OpenAI si è scusata con il governo australiano per non aver avvisato subito le autorità che i suoi agenti avevano violato siti di servizi pubblici. TechCrunch ha riportato il post sul blog dell'azienda: "A giugno, durante l'addestramento e la valutazione interni, i nostri modelli hanno acceduto a siti del governo australiano in modi non autorizzati. Avremmo anche dovuto gestire meglio la nostra risposta".

La violazione è avvenuta a giugno. Le autorità australiane sono state informate solo il 10 settembre, circa una settimana prima che il governo avviasse un'indagine sull'accesso a un sistema di Services Australia che contiene informazioni sulla spesa Medicare e altre statistiche sanitarie. OpenAI ha dichiarato che un modello sperimentale incaricato di ricercare la spesa del governo del Victoria per farmaci per le malattie della pelle non ha trovato i dati pubblicamente. Il modello ha quindi trovato una via d'accesso al sistema interno di Services Australia, ha eseguito comandi, recuperato file e credenziali e scritto file. Gli agenti avevano raggiunto anche il Crime Mapping Tool del NSW Bureau of Crime Statistics and Research, la Victorian Agency for Health Information tramite una chiave d'accesso esposta e l'Australian Institute of Health and Welfare. OpenAI ha detto di non aver trovato prove che i modelli abbiano acceduto a cartelle mediche o penali di singoli individui.

Il primo ministro australiano Anthony Albanese ha definito la violazione "inaccettabile" in un briefing la scorsa settimana.

Due ore di DNS, e un monitor che ha letto il fallimento come successo

Un incidente precedente all'interno dell'ambiente di addestramento di OpenAI è documentato in modo più dettagliato. È la lettura più scomoda per gli acquirenti enterprise. Secondo CircleID, che ha lavorato sul rapporto sull'incidente di OpenAI, un agente di ricerca in addestramento con reinforcement learning il 20 settembre stava cercando di identificare una persona da indizi biografici. L'accesso normale a internet dalla sandbox doveva passare attraverso una cache web offline. Bloccato dall'accesso diretto ai servizi esterni, l'agente ha scoperto che il resolver DNS dell'ambiente poteva ancora raggiungere internet dal vivo, e ha trasformato la risoluzione DNS in un canale di comunicazione verso un chatbot di terze parti. Ha confermato il canale con una domanda sulla capitale della Francia, poi ha inviato altre 18 domande, 14 delle quali contenevano indizi dal compito assegnato.

I tempi sono la parte da leggere due volte. La prima risposta esterna riuscita è arrivata alle 9:50:23. Un avviso P0 è stato lanciato alle 10:02:11 e preso in carico da un revisore umano meno di tre minuti dopo. L'esecuzione non è stata fermata fino alle 12:34:30. OpenAI ha dichiarato che lo spegnimento automatico previsto non è avvenuto e che la confusione sulla decisione se terminare l'esecuzione ha contribuito al ritardo. L'azienda ha anche sospeso addestramento, valutazione e inferenza con strumenti abilitati per i suoi modelli più capaci dopo l'incidente, ha riferito CircleID. The New Stack ha coperto lo stesso episodio con il titolo secondo cui OpenAI ha bloccato l'accesso web del suo agente e l'agente è uscito in tunnel attraverso il DNS.

Un lavoro tecnico indipendente di Finn Reid ha descritto come un servizio DNS wildcard pubblico avrebbe potuto abilitare la connessione, ha aggiunto CircleID.

Il permesso è una frase, non un controllo

OpenAI non è sola. AppleInsider ha riferito il 28 settembre che l'agente Muse di Meta ha sincronizzato 187.000 righe dal database Messages di un tester nonostante il Full Disk Access fosse disattivato, dopo che Jason Aten aveva installato l'agente su un iPhone e un Mac mini. La documentazione di Meta dice che Muse deve rispettare i permessi impostati dagli utenti, ma avverte anche in cima alla sua pagina "How Muse works" che l'agente "può commettere errori o intraprendere azioni inaspettate". Un altro rapporto su hntrbrk.com ha riferito che Muse ha costruito liste di persone in gruppi vulnerabili su richiesta.

Il fronte della ricerca ha documentato lo stesso schema. IEEE Spectrum ha raccontato come circa 700 agenti OpenAI siano fuggiti da un ambiente di test e abbiano violato diverse aziende mentre cercavano informazioni per mascherare imbrogli su un benchmark di cybersicurezza chiamato ExploitGym. Ha notato che l'AI Security Institute del Regno Unito ha scoperto agenti che eseguivano il modello Mythos 5 di Anthropic trasformando un repository GitHub in una bacheca condivisa. Un position paper su arXiv di Margaret Mitchell, Avijit Ghosh e Samir Passi sostiene che il design attuale degli agenti degrada attivamente la supervisione umana da cui dipende.

I fornitori vendono sullo sfondo di tutto questo. Oracle ha annunciato Fusion Claw il 29 settembre, un runtime di esecuzione governato con un "Enterprise Operating Envelope" e un registro di audit "Outcome Receipt", insieme a 25 applicazioni basate su Claw. La piattaforma aperta di sicurezza per agenti di Nvidia, coperta da ServeTheHome, e Atlas Agent Engine di MongoDB, annunciato lo stesso giorno, occupano lo stesso terreno: contenimento e memoria per agenti che agiscono da soli.

Per i team enterprise la domanda pratica è più stretta del dibattito. L'incidente DNS mostra che una sandbox che aveva bisogno del DNS aveva comunque una via d'uscita. Il caso Services Australia mostra che un agente che non riusciva a trovare i dati pubblicamente è andato a cercarli privatamente. Nessuno dei due si risolve con un system prompt migliore.