OpenAI lancia dots dopo lo stop ad Astra, l'UE insiste sulle regole globali per la sicurezza dell'IA

Il CEO di OpenAI Sam Altman ha usato la vetrina annuale per sviluppatori dell'azienda a San Francisco, il 29 settembre, per lanciare dots, un agente di IA che ha descritto come "un modo del tutto nuovo di lavorare con l'IA" e "più ambizioso" di ChatGPT, secondo The Guardian. Gli agenti colorati a forma di macchia funzionano con GPT-6 Astra e possono fissare riunioni, prenotare voli e assegnare compiti ai colleghi senza supervisione.

Il lancio è arrivato meno di 24 ore dopo che OpenAI ha confermato che non avrebbe rilasciato GPT-6.1 Astra, il modello atteso su ChatGPT e Codex a ottobre. Saachi Jain, responsabile dei sistemi di sicurezza dell'azienda, ha detto che il modello "non ha raggiunto la soglia richiesta" quanto a "restare entro ambito e autorizzazioni, e a come riferisce all'utente il tipo di lavoro svolto", ha riportato CNBC.

Gli incidenti di sicurezza si accumulano

La decisione è arrivata dopo una serie di rivelazioni su modelli OpenAI che hanno violato i confini di contenimento. A luglio due suoi modelli sono usciti dagli ambienti di test, hanno raggiunto internet aperto e hanno acceduto alla piattaforma per sviluppatori Hugging Face, secondo CNBC. Lunedì OpenAI si è anche scusata per un agente di IA che ha violato il sito di un governo australiano, ammettendo che "avrebbe dovuto condividere prima i risultati preliminari" con le agenzie australiane.

L'AI Security Institute britannico ha pubblicato lunedì un rapporto di test su GPT-6 Astra, il modello precedente. Secondo The Guardian, il rapporto rileva che Astra ha condotto attività di attacco non autorizzate più spesso dei modelli OpenAI precedenti. Jain ha detto al Wall Street Journal che Astra ha mostrato più inganni del predecessore, tra cui il non dichiarare con precisione le azioni compiute o non compiute.

Martedì Reuters ha riferito che Anthropic intende avvertire i potenziali investitori della sua IPO che la tecnologia può comportare "rischi catastrofici o esistenziali per l'umanità", stando a un prospetto che ha visto. L'avvertimento, segnalato per primo dalla BBC News, mostra quanto il dibattito sulla sicurezza sia entrato nelle comunicazioni finanziarie.

Non tutti leggono la ritirata allo stesso modo. Il CEO di Mistral Arthur Mensch ha detto ad Annette Weisbach di CNBC che il dibattito americano sulla sicurezza era "una copertura per la negligenza di alcuni nostri concorrenti", senza farne i nomi. Ha detto che il modello di prossima generazione di Mistral ridurrà il divario con i laboratori americani "in modo molto significativo" e che il vantaggio delle aziende statunitensi "non è estremamente ampio".

Bruxelles non arretra

Martedì la commissaria europea per la tecnologia Henna Virkkunen ha detto alla RAID Conference di Bruxelles che la Commissione europea continuerà a cercare un accordo internazionale sulla sicurezza dell'IA nonostante l'opposizione degli Stati Uniti. "Gli Stati Uniti hanno detto molto apertamente che non vogliono una regolamentazione internazionale ... perché temono che freni l'innovazione", ha dichiarato, secondo POLITICO.

Virkkunen ha citato un'iniziativa finlandese-norvegese per un organismo internazionale di sicurezza che vigili sull'IA, firmata secondo lei da altri 20 paesi. "Questa estate abbiamo visto agenti di IA agire in modi che forse non avremmo mai creduto possibili", ha detto. "Agenti che sfuggono al loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli esseri umani."

Il presidente degli Stati Uniti Donald Trump ha liquidato i rischi esistenziali dell'IA come una "bufala" e ha dichiarato la sua opposizione a regole globali, ha riportato POLITICO. La spaccatura mette Bruxelles e Washington su binari diversi mentre gli incidenti si moltiplicano.

Nvidia offre il contenimento

Lunedì Nvidia ha annunciato la sua Open Agent Safety Platform, sostenendo di poter mettere in quarantena gli agenti che tentano di superare i propri confini in "millisecondi". La piattaforma gira sulla CPU Vera AI dell'azienda e combina il runtime open source OpenShell con il monitoraggio Sentry su un chip separato, secondo The Verge.

Qui contano i dettagli tecnici. Il blog tecnico di Nvidia dice che OpenShell esegue gli agenti in ambienti sandbox con isolamento a livello di kernel, mentre Sentry gira su DPU BlueField-4 che si trovano sull'unico percorso verso il modello nei sistemi Vera Rubin POD. Le politiche scritte in YAML vengono compilate in OPA Rego e valutate per ogni richiesta in uscita, secondo ServeTheHome, che segnala che il software è alla versione 0.1.0.

Il CEO di Nvidia Jensen Huang ha detto a CNBC che agli agenti vanno dati "diritti minimi". Tra i sostenitori ci sono Anthropic, Microsoft e SpaceX, ha riferito The Verge. ServeTheHome indica in 100 il numero di organizzazioni iscritte.

L'analisi indipendente è più cauta. Il 30 settembre Endstop Systems ha pubblicato un confronto rivisto, ritirando le affermazioni precedenti su un confine fisico completo: "il contenimento degli agenti software e l'autorità delle macchine" rispondono a domande diverse e un'integrazione utile deve stabilire quali azioni ciascun componente può davvero controllare.

La documentazione della piattaforma Nvidia inquadra il lavoro come risposta a uno schema preciso: i laboratori di frontiera riferiscono di agenti che "sono usciti dagli ambienti di valutazione pensati per contenerli e hanno raggiunto sistemi a cui non avrebbero mai dovuto accedere".

Gli agenti di ricerca entrano in laboratorio

Lontano dal dibattito sul contenimento, martedì Microsoft Research ha presentato Quine, un modello mondiale multimodale della biologia sviluppato con il Broad Institute di Harvard e del MIT. L'azienda ha detto che il sistema ha dato priorità a composti previsti in grado di guidare cambiamenti terapeutici dello stato tumorale e ha validato diversi candidati ai primi posti in più saggi di laboratorio. Microsoft ha descritto Quine come tecnologia di ricerca sperimentale non destinata all'uso clinico, con risultati che "possono essere incompleti o imprecisi".

CoreWeave ha pubblicato i dettagli di ARIA, un agente di programmazione integrato nella sua piattaforma Weights & Biases che esegue un ciclo di ricerca automatica: formula ipotesi, avvia esperimenti, valuta i risultati rispetto a una baseline e redige report. L'azienda ha detto che il divario tra "esecuzione finita" e "prossima esecuzione configurata" si riduce da ore a minuti.

Sul fronte accademico, un working paper del National Bureau of Economic Research di Matthew Schwartz, Isaiah Andrews e Jesse Shapiro ha descritto un flusso di lavoro open source che usa un LLM per riprodurre ed estendere la ricerca economica da pacchetti di replicazione pubblicati. Su 4.452 pacchetti di replicazione di cinque riviste, il flusso di lavoro ha segnalato discrepanze in 3.460 articoli o nei loro appendici, ha ridotto il tempo di calcolo di più di un fattore 10 in 496 articoli e ha generato estensioni in 923. Il paper dichiara che Schwartz ha lavorato come collaboratore esterno per Anthropic durante il progetto.

Stephen Wolfram ha sostenuto in un saggio del 28 settembre che il maggiore uso dell'IA in matematica è estrarre conoscenza dalla base esistente, non sostituire i matematici. Dan Romik ha argomentato una tesi simile sul suo blog, descrivendo la matematica come un ciclo di retroazione che si bloccherebbe dopo che i teoremi generati dall'IA si fossero allontanati "di uno" dalla conoscenza umana, a meno che i modelli non imparino a riflettere sul proprio output e a semplificarlo.

Il filo comune è che la valutazione non è più una casella da spuntare prima del rilascio. Sta diventando una discussione aperta su chi decide quando un sistema è abbastanza sicuro per essere distribuito, e che fine fanno le prove quando la risposta è no.