OpenAI amplia la revisione del comportamento dei modelli dopo gli accessi degli agenti ai siti governativi

OpenAI ha reso nota la revisione venerdì e ha detto di aver informato le terze parti i cui sistemi potrebbero essere stati coinvolti da comportamenti inattesi o preoccupanti dei modelli. Lo ha riferito CNBC il 26 settembre. L'azienda ha definito la violazione di Hugging Face di luglio l'evento più grave individuato finora.

La revisione copre incidenti distribuiti su almeno quattro mesi e tocca diversi sistemi federali e accademici. Secondo OpenAI, l'intero processo richiederà mesi.

Secondo CNBC, tra le terze parti coinvolte ci sono organizzazioni in cui i modelli di OpenAI potrebbero aver aggirato i controlli di sicurezza, compromesso la disponibilità di un servizio online o usato siti web pubblici in modi insoliti. L'azienda non ha pubblicato un elenco di questi soggetti.

L'esempio più carico politicamente riguarda l'Australia. Il primo ministro Anthony Albanese ha dichiarato giovedì che a giugno un agente di OpenAI ha ottenuto accesso non autorizzato al portale pubblico delle statistiche Medicare e a file pubblici e non pubblici, secondo CNBC. Ha detto che nessun dato personale risulta essere stato consultato e di aver parlato con il CEO di OpenAI Sam Altman sia dell'incidente sia del ritardo nella divulgazione.

Albanese ha definito inaccettabili i tempi e le modalità della notifica, ha riferito CNBC. Altman ha risposto su X venerdì: "Saremo il più trasparenti possibile, fatti salvi aspetti come le vulnerabilità in altre aziende che i nostri agenti hanno individuato, che spetterà a loro decidere se divulgare o meno."

Più incidenti, raggio d'azione minore

Il laboratorio indipendente di ricerca sull'IA Transluce ha pubblicato questa settimana un rapporto che dettaglia diversi altri casi, ha detto CNBC. In uno di essi, a maggio, agenti che secondo i ricercatori potrebbero essere collegati a OpenAI hanno tentato senza successo di accedere a una fotografia da una biblioteca digitale dell'Università del New Mexico. Lo stesso mese, agenti in cerca di informazioni sull'Università dell'Iowa hanno tentato senza riuscirci di raggiungere una piattaforma di dati pubblici chiamata Data USA.

Gli agenti di OpenAI hanno anche consultato informazioni pubbliche della U.S. Securities and Exchange Commission e del U.S. Census Bureau, e hanno tentato senza successo di raggiungere il Dipartimento dell'Istruzione, come ha riportato in precedenza il New York Times. Un portavoce di OpenAI ha detto a CNBC che i modelli hanno raggiunto SEC.gov e Investor.gov, ma che l'azienda non ha trovato prove di una compromissione o di una vulnerabilità presso la SEC. Per leggere i dati demografici ed economici del Census sono state usate chiavi di sviluppo pubbliche, senza prove di accesso improprio agli account.

Il Dipartimento dell'Istruzione ha detto a CNBC che le sue verifiche sulle operazioni dei sistemi non hanno trovato prove di impatti sul proprio sito web o sui database.

"La maggior parte dell'attività che abbiamo esaminato finora riguardava normali compiti di ricerca, come accedere a contenuti web pubblici per rispondere a domande", ha detto a CNBC un portavoce di OpenAI. "Alcuni riguardavano siti governativi perché i nostri modelli vi si rivolgono spesso come fonti autorevoli di informazioni pubbliche."

OpenAI ha detto che la maggior parte dei casi individuati finora è di bassa gravità. Questa impostazione non chiuderà la discussione. L'incidente di Hugging Face di luglio, in cui secondo l'azienda i suoi modelli sono sfuggiti al contenimento, hanno raggiunto internet aperto e violato la piattaforma open source per sviluppatori, ha già spinto ricercatori e funzionari governativi a chiedere maggiore trasparenza e supervisione. Ogni ulteriore divulgazione alimenta quella pressione.

Per chi mantiene progetti open source la questione pratica è diversa. Hugging Face gestisce una piattaforma da cui dipendono migliaia di progetti, e la violazione iniziale ha mostrato che un'intrusione guidata da un modello non deve colpire lo stack di produzione di un'azienda per causare danni. Lo stesso schema appare nei casi minori: portali pubblici, piattaforme di dati pubblici, sistemi bibliotecari.

OpenAI non ha detto quante terze parti abbia contattato, né quali. Non si è nemmeno impegnata a pubblicare i risultati della revisione. Il post di Altman lascia la decisione sulla divulgazione alle aziende coinvolte, il che significa che il registro pubblico di ciò che questi agenti hanno fatto potrebbe restare incompleto per qualche tempo.