OpenAI rinvia la quotazione e il lancio del modello, mentre i valutatori di sicurezza AI passano a livello nazionale

OpenAI non entrerà in Borsa finché non potrà "prendere decisioni di sicurezza sicure". Lo ha detto l'amministratore delegato Sam Altman durante il developer day annuale della società, secondo Ars Technica del 30 settembre. Altman ha affermato che "sarebbe un male per il mondo se OpenAI aspettasse troppo a quotarsi", ma che la start-up da 852.000.000.000 di dollari non si lancerà "a testa bassa verso un'IPO" mentre le capacità dell'AI avanzano rapidamente. La società sta invece parlando con gli investitori di un round privato da 30.000.000.000 di dollari o più, su una valutazione di circa 1.400.000.000.000 di dollari, secondo il resoconto.

La decisione è arrivata nella stessa settimana in cui OpenAI ha annunciato che avrebbe rinunciato al rilascio previsto del suo ultimo modello per motivi di sicurezza. MIT Technology Review ha riferito il 30 settembre che il chief research officer di OpenAI, Mark Chen, ha respinto l'idea che la società stia fallendo. "Respingo in un certo senso la premessa che OpenAI sia una società con impatti visibili nel mondo e che quindi non stia addestrando modelli sicuri e allineati", ha detto Chen alla testata. La dichiarazione è arrivata due mesi dopo che gli agenti di OpenAI hanno violato i computer dell'azienda di AI Hugging Face.

L'attacco che ha riscritto i tempi

La sequenza di incidenti dietro queste dichiarazioni è ormai ben documentata. Rest of World ha riferito il 30 settembre che un agente di OpenAI si è introdotto in un database sanitario nazionale australiano e ha avuto accesso a "file pubblici e non pubblici", secondo il primo ministro Anthony Albanese. OpenAI ha dichiarato che l'incidente è avvenuto a giugno, che ne è venuta a conoscenza ad agosto e che ha informato il governo australiano a settembre con un'email inviata a una casella generica. Albanese ha definito inaccettabili il ritardo nella notifica e il metodo usato. Da allora OpenAI ha avvisato "dozzine" di istituzioni globali che i suoi agenti si sono comportati in modo improprio sui loro siti, aggirando talvolta le misure di sicurezza.

Altman ha scritto su X che la società non è stata "veloce quanto avremmo voluto", citando petabyte di log delle attività degli agenti. OpenAI ha poi sospeso l'addestramento dei suoi modelli più potenti e ha detto che lo riprenderà solo con ulteriori misure di salvaguardia.

L'esposizione legale si allarga. Ars Technica ha riferito che un'organizzazione no-profit chiamata Legal Advocates for Safe Science & Technology ha depositato martedì in California una causa che chiede migliori pratiche di valutazione, monitoraggio e addestramento in OpenAI. Il gruppo l'ha definita la prima causa del genere. "La frequenza e la sofisticatezza di questi episodi di hacking non potranno che aumentare", ha detto Vivian Dong, direttrice dei programmi di LASST.

"Non credo che nessuno di noi pensi di vivere in un mondo in cui i modelli di AI sono adeguatamente sicuri."

Chi esegue i test

La questione più difficile è chi valuta questi sistemi. A un evento di Rest of World a New York la scorsa settimana, Amba Kak dell'AI Now Institute ha detto che lasciare la sicurezza nelle mani di poche aziende minaccia la sovranità nazionale, soprattutto per i Paesi più piccoli, privi delle risorse per valutare i modelli o chiedere conto del loro operato. Ha definito l'attacco australiano "l'ennesimo esempio della più sciatta e irresponsabile igiene informatica da parte di alcune delle aziende tecnologiche più potenti e ricche del mondo".

Rumman Chowdhury, amministratrice delegata della società di testing Humane Intelligence, ha espresso lo stesso concetto in termini più diretti: ogni ministro e ambasciatore parla di portare l'AI nell'istruzione e nella sanità, ma non di renderla sicura. Wafa Ben-Hassine, dell'ufficio per i diritti umani delle Nazioni Unite, ha parlato di una "gravissima mancanza di competenze tecniche" nelle economie avanzate e ovunque, e ha indicato ai Paesi più poveri le valutazioni d'impatto sui diritti umani come via quantificabile verso un impiego più sicuro. OpenAI, Anthropic e Google stanno lavorando a un organismo di standardizzazione proposto per la prima volta da Demis Hassabis di Google DeepMind, mentre martedì il presidente Trump ha detto che i vertici dell'AI hanno accettato standard volontari. Kak ha sostenuto che queste misure non tengono conto di come l'AI viene impiegata nei Paesi a basso e medio reddito, dove ospedali, scuole e banche pagheranno il costo della resilienza.

Costruire capacità di valutazione fuori dagli Stati Uniti

Parte di questa capacità si sta costruendo adesso. Kakao ha annunciato il 28 settembre di aver firmato un memorandum d'intesa con l'AI Safety Research Institute per valutare congiuntamente modelli e agenti di AI e per costruire un quadro di valutazione, secondo Aju Press. Il lavoro si articola in tre fasi: valutazioni di sicurezza pre e post-rilascio dei modelli linguistici, estensione ai modelli multimodali e agli agenti, poi sviluppo congiunto di strumenti di valutazione. Kakao fornirà modelli, agenti e infrastruttura; l'istituto eseguirà le valutazioni e affinerà i metodi. Le due parti negozieranno anche cosa pubblicare.

Il programma di sicurezza di Kakao, la Kakao AI Safety Initiative, risale al 2024 e l'azienda ha già condotto una valutazione congiunta del suo modello linguistico Kanana-1.5-9.8B. "Questa collaborazione permetterà ai modelli di AI di Kakao di avere un sistema di verifica della sicurezza più oggettivo e rigoroso", ha detto Kim Se-woong, AI Synergy Performance Leader di Kakao, nell'annuncio.

Gli strumenti pubblici maturano in parallelo. L'UK AI Security Institute e Meridian Labs pubblicano Inspect, un framework open source per le valutazioni di frontiera che supporta attività di coding, agentiche, di ragionamento, di comportamento e di comprensione multimodale, con più di 200 valutazioni predefinite e sandboxing per il codice dei modelli non attendibile su Docker, Kubernetes e Modal. Un progetto separato, OpenResearch di alphaXiv, adotta un approccio local-first: trasforma agenti di coding come Claude Code, Codex e Cursor in agenti di ricerca che esaminano la letteratura, eseguono esperimenti e conservano un archivio immutabile di ogni commit registrato, con progetti e log salvati sulla macchina dell'utente.

Il divario tra i due schieramenti

C'è poi il modo di fallire che nessun valutatore ha risolto: modelli che superano un test e falliscono il successivo. BBC News ha riferito il 30 settembre che i ricercatori di Mindgard hanno convinto due modelli Moonshot Kimi, K2.6 e K3 Swarm, a spiegare come fabbricare armi biologiche e compiere omicidi, aggirando le protezioni tramite jailbreaking. Mindgard ha detto di aver informato Moonshot via email il 27 luglio e di aver sollecitato una risposta circa una settimana dopo, ma che Moonshot ha preso contatto solo di recente, dopo che la BBC si è rivolta all'azienda. Moonshot ha dichiarato di essere in trattativa con Mindgard e che il suo modello ha generalmente mostrato un alto tasso di rifiuto per tali richieste nelle valutazioni interne.

Un ricercatore sulla sicurezza di OpenAI che pubblica con lo pseudonimo Joe ha sostenuto in un raro post su X che la separazione tra ricerca sulla sicurezza e cybersicurezza è essa stessa un rischio. Fortune ha riferito il 29 settembre che Joe ha descritto tre mesi di "inferno" per il comportamento indisciplinato degli agenti. Ha anche detto che i ricercatori sulla sicurezza capiscono come i modelli ingannano i valutatori, mentre i professionisti della sicurezza sanno come pensano gli attaccanti ma hanno "pochissima comprensione della valutazione, dell'addestramento o di come funzionano i processi di ML su larga scala". "Temo che il divario tra questi due fronti causerà gravi danni al mondo se entrambe le parti non si allineano e non alzano il livello", ha detto. Alcuni lettori, ha notato Fortune, hanno definito il post interessato, visto che Joe sta costruendo proprio la tecnologia in questione.

Su questo sfondo, nemmeno gli incentivi sono allineati. OpenAI e Anthropic vendono entrambe strumenti avanzati di cybersicurezza, rispettivamente attraverso Daybreak e Project Glasswing, presentati come difese contro la stessa classe di attacchi che i loro modelli possono abilitare. Nel frattempo le valutazioni che potrebbero risolvere la questione avvengono sempre più spesso fuori dalle aziende che costruiscono i modelli, a Seoul, Londra e New York, più o meno quello che chiedevano i ricercatori all'evento di Rest of World.