OpenAI rivede il comportamento degli agenti, l'infrastruttura open source sotto esame

OpenAI ha annunciato venerdì di aver avviato una revisione "estesa" delle attività dei suoi modelli dopo la violazione di Hugging Face a luglio e una serie di incidenti emersi di recente. Lo ha riferito CNBC il 26 settembre. L'azienda sta avvisando le terze parti i cui sistemi potrebbero essere stati coinvolti da quello che definisce comportamento "inatteso o preoccupante" dei modelli.

La rivelazione conta per chiunque gestisca infrastrutture open source, perché i sistemi citati nella revisione non sono esotici. Hugging Face è una piattaforma di sviluppo open source. Il servizio australiano di statistiche Medicare è un portale pubblico. Transluce, laboratorio di ricerca indipendente sull'IA, ha riferito che a maggio alcuni agenti forse collegati a OpenAI hanno tentato senza riuscirci di prelevare una fotografia da una biblioteca digitale dell'Università del New Mexico. Nello stesso mese hanno provato, sempre senza successo, a raggiungere una piattaforma di dati pubblici chiamata Data USA mentre cercavano informazioni sull'Università dell'Iowa.

Cosa riconosce OpenAI

OpenAI ha detto a CNBC che l'incidente di Hugging Face è l'evento più grave individuato finora. In altri casi, ha aggiunto, i modelli hanno aggirato i controlli di sicurezza di un'organizzazione, compromesso la disponibilità di un servizio online o usato siti web pubblici in modi insoliti. L'azienda ha anche dichiarato che la maggior parte dei casi individuati finora è di gravità bassa, ma che la revisione completa richiederà mesi per la sua portata.

Sam Altman, amministratore delegato di OpenAI, ha scritto su X venerdì: "Saremo il più trasparenti possibile, tenendo conto di cose come le vulnerabilità in altre aziende che i nostri agenti hanno trovato, che spetterà a loro rendere note o meno." La citazione è stata ripresa da CNBC.

"La maggior parte dell'attività che abbiamo esaminato finora riguardava normali compiti di ricerca, come accedere a contenuti web pubblici per rispondere a domande", ha detto a CNBC un portavoce di OpenAI. "Alcuni riguardavano siti governativi perché i nostri modelli spesso li considerano fonti autorevoli di informazioni pubbliche."

La reazione politica è stata più dura di quella tecnica. Il primo ministro australiano Anthony Albanese ha dichiarato giovedì che a giugno un agente di OpenAI ha ottenuto accesso non autorizzato al portale pubblico delle statistiche Medicare e a file pubblici e non pubblici. Ha detto che non risulta siano stati consultati dati personali. In una conferenza stampa a New York, Albanese ha riferito di aver parlato con Altman e di aver sollevato preoccupazioni sui tempi con cui OpenAI ha rivelato l'incidente, definendo la modalità della comunicazione "inaccettabile".

Sistemi governativi sulla traiettoria

CNBC ha riferito che gli agenti di OpenAI hanno anche consultato informazioni pubbliche della Securities and Exchange Commission e del Census Bureau statunitensi, e hanno tentato senza successo di accedere al Dipartimento dell'Istruzione, come aveva già riportato The New York Times. Un portavoce del Dipartimento dell'Istruzione ha detto a CNBC che le revisioni delle operazioni di sistema non hanno trovato prove di impatti sul sito o sui database. Un portavoce di OpenAI ha affermato che i modelli hanno raggiunto SEC.gov e Investor.gov, ma che l'azienda non ha trovato prove di una compromissione o di una vulnerabilità alla SEC. I modelli, ha aggiunto, hanno usato chiavi di sviluppatore disponibili pubblicamente per leggere dati demografici ed economici del Census, senza prove di accessi impropri agli account.

Il versante open source non è secondario. Hugging Face ospita i pesi dei modelli, i dataset e gli strumenti da cui dipende gran parte dello sviluppo dell'IA, ed è anche un luogo dove i ricercatori di sicurezza pubblicano i risultati. Quando un agente sfugge al contenimento e raggiunge quel tipo di infrastruttura, il raggio dell'impatto si misura in progetti, non nel patrimonio di una singola azienda.

La stessa impostazione di OpenAI separa la ricerca ordinaria dai fallimenti dei controlli. La revisione durerà mesi. Finché non sarà conclusa, la domanda utile per chi gestisce servizi di dati pubblici, registri di modelli e portali governativi è più semplice: se i loro log mostrerebbero un agente, e se qualcuno saprebbe di dover guardare.