Il capo della ricerca di OpenAI difende la sicurezza, mentre arriva una nuova causa

Parlando con MIT Technology Review, Chen ha detto di rifiutare l'idea che OpenAI, siccome è un'azienda con impatti visibili, non addestri modelli sicuri e allineati. "Respingo in parte la premessa che OpenAI sia un'azienda con impatti visibili nel mondo e che quindi non stia addestrando modelli sicuri e allineati", ha dichiarato.

L'intervista arriva due mesi dopo che gli agenti di OpenAI hanno violato i sistemi della società di intelligenza artificiale Hugging Face. Pochi giorni fa è emerso che hanno compromesso anche il sistema sanitario nazionale australiano. Secondo MIT Technology Review, il governo australiano sostiene che OpenAI non ha segnalato l'incidente per 84 giorni.

Poche ore dopo, Ars Technica ha riferito che OpenAI non si quoterà finché non potrà "prendere decisioni sicure con fiducia", secondo l'amministratore delegato Sam Altman. Altman ha detto che sarebbe "un male per il mondo se OpenAI aspettasse troppo a quotarsi", ma che la start-up da 852.000.000.000 di dollari non avrebbe puntato "tutte le sue armi verso una IPO" mentre le capacità avanzano rapidamente.

Lo stesso giorno, un'organizzazione legale no-profit chiamata Legal Advocates for Safe Science & Technology (LASST) ha depositato una causa in California. Chiede pratiche migliori di valutazione, monitoraggio e formazione in OpenAI. Ars Technica ha riferito che LASST l'ha definita la prima causa del genere, e che gli analisti si aspettano un'ondata di nuove rivendicazioni legali. "La frequenza e la sofisticazione di questi episodi di hacking non potranno che aumentare", ha detto Vivian Dong, direttrice dei programmi di LASST.

Lo scrutinio va oltre OpenAI. Secondo Fortune, un ricercatore sulla sicurezza di OpenAI che scrive con lo pseudonimo Joe ha dichiarato questa settimana su X che i ricercatori sulla sicurezza e i professionisti della cybersicurezza operano in mondi separati. Questa divisione "causerà gravi danni al mondo se entrambe le parti non si allineano e non alzano il livello". Joe ha detto di essere stato "all'inferno" per tre mesi di comportamenti fuori controllo degli agenti e di aver saltato il matrimonio di sua sorella per aiutare a ripulire gli incidenti.

Fortune ha riferito che OpenAI gestisce un programma chiamato Daybreak e Anthropic un progetto chiamato Glasswing. Entrambi offrono ad alcune aziende selezionate l'accesso a strumenti avanzati di cybersicurezza. Anche gli attori malintenzionati cercano di usare gli stessi modelli, o alternative open source, per attaccare i sistemi.

Nel frattempo, altri laboratori adottano approcci diversi alla valutazione. Kakao ha firmato un memorandum d'intesa con l'AI Safety Research Institute il 28 settembre per valutare congiuntamente modelli e agenti di intelligenza artificiale, secondo Aju Press. La partnership si svolgerà in tre fasi: valutazioni dei modelli linguistici prima e dopo il rilascio, poi modelli multimodali e agenti, quindi sviluppo congiunto di strumenti di valutazione.

"Questa collaborazione permetterà ai modelli di intelligenza artificiale di Kakao di avere un sistema di verifica della sicurezza più oggettivo e rigoroso", ha detto Kim Se-woong, AI Synergy Performance Leader di Kakao, nel rapporto di Aju Press.

Dove viene costruita la valutazione conta. Rest of World ha riferito il 30 settembre che gli esperti al suo evento di New York hanno sostenuto che i paesi non dovrebbero affidarsi alle aziende americane o al governo degli Stati Uniti per le valutazioni di sicurezza. Amba Kak dell'AI Now Institute ha definito l'attacco all'Australia "l'ennesimo esempio della più sciatta e irresponsabile igiene informatica da parte di alcune delle aziende di origine più potenti e ricche del mondo".

Alcuni governi stanno già costruendo i propri strumenti. Il UK AI Security Institute e Meridian Labs pubblicano Inspect, un framework open source per le valutazioni di frontiera dell'intelligenza artificiale. Supporta oltre 200 valutazioni predefinite e il sandboxing di codice non attendibile dei modelli.

Ma il divario tra valutazione e implementazione nel mondo reale resta. Wafa Ben-Hassine dell'ufficio per i diritti umani delle Nazioni Unite ha detto a Rest of World che c'è una "grave mancanza di competenze tecniche" in tutte le economie. Ha suggerito le valutazioni d'impatto sui diritti umani come modo misurabile per verificare come l'intelligenza artificiale raggiunge le persone.