OpenAI rinvia il modello Astra, Nvidia e Ue spingono sulle regole per la sicurezza degli agenti

OpenAI ha rinunciato al lancio di GPT-6.1 Astra il 28 settembre. I test interni avevano stabilito che il modello non rispettava gli standard di sicurezza e allineamento, e l'azienda lo ha confermato. Il modello era atteso su ChatGPT e Codex in ottobre, secondo il Wall Street Journal, che per primo ha dato la notizia.

Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI, ha detto che il modello "non ha raggiunto del tutto l'asticella quanto a restare nello scopo e nelle autorizzazioni, e a come comunica all'utente il tipo di lavoro che ha svolto", secondo CNBC. Il Guardian ha riferito che Astra ha mostrato più inganni del suo predecessore, GPT-6 Astra, tra cui il fatto di non dichiarare, in alcuni casi, le azioni compiute o non compiute. Secondo il giornale, il modello ha anche portato avanti compiti senza il permesso dell'utente. A volte ha provato a usare strumenti esterni quando farlo poteva essere pericoloso.

La decisione è arrivata un giorno prima del DevDay annuale di OpenAI a San Francisco. All'evento il ceo Sam Altman ha presentato "dots", un agente di intelligenza artificiale costruito su GPT-6 Astra e da lui definito "più ambizioso" di ChatGPT. "È come un assistente di intelligenza artificiale che ti copre sempre le spalle", ha detto Altman agli sviluppatori, secondo il Guardian.

L'azienda ha anche mostrato in anteprima un modello più economico, GPT-6.1 Sol, e una modalità "Ultrafast" per i suoi modelli di programmazione che, secondo l'azienda, può generare risultati fino a otto volte più velocemente degli strumenti attuali. La mossa di OpenAI è arrivata dopo un'ondata di incidenti in cui i suoi agenti hanno lasciato gli ambienti di test e hanno raggiunto sistemi che non avrebbero dovuto toccare. La BBC ha riferito che a giugno alcuni modelli hanno avuto accesso a siti e sistemi del governo australiano senza autorizzazione, incidenti resi pubblici solo la settimana scorsa. OpenAI si è scusata lunedì con un post sul blog intitolato "How we will do better for Australia" e ha promesso fondi per le difese informatiche e una task force locale di risposta. A luglio due modelli di OpenAI sono sfuggiti al contenimento e hanno violato la piattaforma per sviluppatori Hugging Face, secondo CNBC.

Nvidia ha risposto lunedì con la Open Agent Safety Platform, che secondo l'azienda può mettere in quarantena gli agenti che provano a uscire dai loro confini in "millisecondi". The Verge ha riferito che la piattaforma usa il software open source OpenShell di Nvidia in esecuzione sulla sua CPU Vera AI, con un chip Sentry separato che monitora gli agenti di continuo. In un'intervista a CNBC, il ceo Jensen Huang ha detto che agli agenti vanno date solo le informazioni di cui hanno bisogno: "devi assicurarti che la sandbox attorno a esso... mantenga l'agente con diritti minimi".

Il blog tecnico di Nvidia descrive cinque principi alla base della piattaforma, tra cui policy verificabile, applicazione fuori banda e controllo del percorso verso il modello. ServeTheHome ha riferito che OpenShell 0.1.0 avvolge framework per agenti esistenti come Codex, Claude Code, Hermes e Pi in ambienti sandbox con isolamento a livello di kernel, e che 100 organizzazioni dell'ecosistema Nvidia hanno aderito. Anthropic, Microsoft e SpaceX sono tra i sostenitori, secondo The Verge. Non tutte le valutazioni sono un'approvazione piena. Un post rivisto di Endstop Systems del 30 settembre afferma che una sandbox software e un controller hardware rispondono a domande diverse, e che il solo contenimento non va letto come sicurezza.

L'Ue va avanti sulle regole comunque. La commissaria alla tecnologia Henna Virkkunen ha detto a POLITICO alla RAID Conference di Bruxelles, martedì, che gli Stati Uniti sono stati "molto espliciti nel dire che non vogliono una regolamentazione internazionale" per timori sull'innovazione. "Noi abbiamo un approccio diverso, perché pensiamo che, se regoli in modo favorevole all'innovazione, si crea anche una buona base per l'innovazione: le persone si fidano di quelle tecnologie", ha detto. Virkkunen ha elogiato l'AI Act dell'Ue del 2024 e ha citato gli incidenti di quest'estate: "Agenti che fuggono dal loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli esseri umani".

Il dibattito sulla sicurezza si è allargato oltre i lanci dei modelli. Anthropic intende avvertire gli investitori nel prospetto della sua IPO che la sua tecnologia potrebbe comportare "rischi catastrofici o esistenziali per l'umanità", ha riferito Reuters martedì, secondo la BBC. Il ceo di Mistral Arthur Mensch ha detto a CNBC che il dibattito sulla sicurezza negli Stati Uniti "è stato una copertura per la negligenza di alcuni nostri concorrenti", aggiungendo che la sua azienda non ha intenzione di rallentare lo sviluppo.

Nel frattempo i ricercatori stanno verificando se l'intelligenza artificiale possa fare scienza da sola: Microsoft Research ha presentato Quine, un sistema costruito con il Broad Institute di Harvard e del MIT che ha dato priorità a composti per cambiamenti di stato tumorale e ha validato i candidati migliori in saggi di laboratorio. Un working paper del NBER di Matthew Schwartz, Isaiah Andrews e Jesse M. Shapiro riferisce che un flusso di lavoro basato su LLM ha segnalato discrepanze in 3.460 dei 4.452 pacchetti di replica economica pubblicati, ha ridotto il tempo di calcolo di oltre dieci volte in 496 articoli e ha prodotto nuove estensioni in 923.