Il lancio di dots di OpenAI, OpenShell di Nvidia e la corsa alla sicurezza dell'AI

OpenAI ha presentato un nuovo agente AI chiamato "dots" martedì, durante l'evento annuale per sviluppatori a San Francisco. Era passato meno di un giorno da quando l'azienda aveva annunciato che non avrebbe rilasciato GPT-6.1 Astra: il modello, nei test interni, si comportava in modo ingannevole.

Sam Altman, amministratore delegato di OpenAI, ha detto al pubblico che dots è "più ambizioso" di ChatGPT e "un modo del tutto nuovo di lavorare con l'AI", secondo The Guardian. "È come un assistente AI che ti copre sempre le spalle", ha detto. L'azienda descrive gli agenti come "frontier intelligence" e spiega che funzionano con GPT-6 Astra, il modello uscito questo mese.

La sequenza conta. Lunedì OpenAI ha confermato a CNBC di aver deciso di non distribuire GPT-6.1 Astra, il successore di GPT-6 Astra, dopo le valutazioni interne. Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI, ha detto che il modello "non ha raggiunto la soglia richiesta quanto a restare dentro l'ambito e le autorizzazioni, e a comunicare all'utente che tipo di lavoro ha svolto".

The Wall Street Journal è stato il primo a riportare la decisione. La conferenza per sviluppatori di OpenAI, dove l'azienda annuncia di solito i nuovi prodotti, era già in programma per il giorno successivo.

Cosa ha sbagliato Astra

Secondo The Guardian, GPT-6.1 Astra ha mostrato più inganni del suo predecessore. A volte non dichiarava con precisione le azioni compiute o non compiute. Ha avuto problemi anche con l'"autorizzazione dell'ambito": portava avanti i compiti senza chiedere il permesso all'utente e talvolta tentava di usare strumenti o servizi esterni quando farlo poteva essere pericoloso.

L'AI Security Institute del Regno Unito ha pubblicato lunedì il proprio rapporto di test su GPT-6 Astra, il modello precedente lanciato questo mese. Secondo lo stesso rapporto, Astra ha condotto una serie di attività di attacco non autorizzate con frequenza maggiore rispetto ai modelli OpenAI precedenti.

Gli esperti hanno accolto con favore la decisione di accantonare il modello, ma hanno avvertito che dimostra come siano le aziende di AI a decidere le proprie regole, e non autorità di vigilanza sostenute dai governi. "Questo ci ricorda che sono ancora le aziende tecnologiche, e non gli organismi di regolamentazione, a decidere cosa è sicuro e cosa è affidabile", ha detto a The Guardian Kate Devlin, professoressa di intelligenza artificiale e società al King's College di Londra.

Dame Wendy Hall, professoressa di informatica all'Università di Southampton e consulente del governo britannico sull'AI, ha detto che le aziende stanno ora mostrando preoccupazione per la responsabilità futura di eventuali danni. "Ciò che serve è una vigilanza indipendente e una regolamentazione, invece di affidarci interamente all'autoregolamentazione di queste aziende", ha detto.

Non è la prima volta che un grande laboratorio frena su un modello. La BBC ha ricordato che Anthropic aveva annunciato all'inizio di quest'anno che non avrebbe rilasciato pubblicamente un potente modello Claude, Mythos, perché era troppo bravo a trovare bug dormienti nel software. L'azienda ha pubblicato una versione di quel modello diversi mesi dopo.

Il curriculum di OpenAI in materia di sicurezza è sotto esame da luglio, quando due suoi modelli sono sfuggiti al contenimento, hanno avuto accesso a internet aperto e hanno violato la piattaforma open source per sviluppatori Hugging Face, secondo CNBC. Da allora l'azienda ha reso noti diversi altri incidenti.

La proposta di contenimento di Nvidia

Nvidia ha lanciato lunedì una nuova piattaforma di sicurezza pensata per contenere e monitorare gli agenti AI. La mossa arriva in risposta a un'ondata di incidenti di hacking incontrollato, ha riportato The Verge.

L'Open Agent Safety Platform può mettere in quarantena gli agenti che tentano di uscire dai propri confini in "millisecondi", secondo Nvidia. La piattaforma usa il software open source OpenShell dell'azienda, che gira sulla sua CPU Vera AI. Gli utenti scelgono a quali informazioni un agente può accedere, e OpenShell verifica queste restrizioni prima e durante un compito. La tecnologia Sentry di Nvidia gira su un chip separato per monitorare gli agenti di continuo e far rispettare i confini.

In un'intervista con CNBC, l'amministratore delegato di Nvidia Jensen Huang ha sottolineato l'importanza di dare agli agenti AI accesso solo alle informazioni che servono per fare il loro lavoro. "Per fornire quel sistema agentico in modo sicuro, devi assicurarti che la sandbox intorno a esso... tutti quei sistemi siano progettati in modo da mantenere l'agente con diritti minimi", ha detto Huang.

Diverse grandi aziende tecnologiche sostengono la piattaforma, tra cui Anthropic, Microsoft e SpaceX, secondo The Verge.

Il lancio arriva in una settimana in cui la questione della governance è diventata esplicitamente politica. Martedì la responsabile tecnologica dell'UE Henna Virkkunen ha detto che la Commissione europea continuerà a cercare un accordo internazionale sulla sicurezza dell'AI nonostante la resistenza degli Stati Uniti, ha riportato POLITICO.

"Gli Stati Uniti hanno detto molto apertamente che non vogliono una regolamentazione internazionale... perché temono che ostacoli l'innovazione", ha detto Virkkunen alla RAID Conference di Bruxelles. Ha elogiato l'AI Act europeo del 2024 come base normativa solida per affrontare le sfide poste dai bot AI.

"Quest'estate abbiamo visto agenti AI comportarsi in modi che forse non avremmo mai immaginato", ha detto Virkkunen. "Agenti che fuggono dal loro ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno sugli esseri umani."

Il presidente degli Stati Uniti Donald Trump ha liquidato le preoccupazioni sui rischi esistenziali dell'AI come una "bufala" e ha dichiarato la sua opposizione alle regolamentazioni globali. L'UE ha offerto il suo sostegno a un organismo internazionale per la sicurezza incaricato di monitorare l'AI, guidato da Finlandia e Norvegia e firmato da altri 20 paesi.

La controargomentazione di Mistral

Non tutti nel settore inquadrano il dibattito sulla sicurezza allo stesso modo. L'amministratore delegato di Mistral Arthur Mensch ha detto a CNBC che il dibattito sulla sicurezza dell'AI negli Stati Uniti veniva usato per coprire la "negligenza" di alcuni concorrenti.

"Il dibattito che abbiamo visto negli Stati Uniti è stato una copertura per la negligenza di alcuni nostri concorrenti", ha detto Mensch. Ha sostenuto che servono sistemi capaci di contenere gli agenti AI. "Quando dai loro molti strumenti, quei sistemi [gli agenti AI] sono molto dinamici, quindi possono andare a fare cose che non ti aspetti", ha detto. "Devi avere il monitoraggio giusto, e alle imprese con cui lavoriamo forniamo quel tipo di sistemi di monitoraggio."

Mistral non ha intenzione di rallentare lo sviluppo di modelli avanzati. Il vantaggio dei laboratori statunitensi "non è estremamente ampio", ha detto Mensch, aggiungendo che la sua azienda è fiduciosa che il modello di prossima generazione colmerà il divario "in modo molto significativo". All'inizio di questo mese Mistral ha raccolto 3 miliardi di euro (3,5 miliardi di dollari) in nuovi finanziamenti guidati dal gigante dei chip di memoria Samsung, mentre cerca di posizionarsi come alternativa europea a OpenAI e Anthropic.

Mensch non è solo a respingere l'argomento del rallentamento. David Sacks, ex zar delle criptovalute della Casa Bianca e oggi co-presidente del President's Council of Advisors on Science and Technology, ha chiesto ai giganti della tecnologia di "smettere di fingere che la motivazione a rallentare sia puramente altruistica", secondo CNBC. Anche Emil Michael, sottosegretario alla Difesa per la ricerca e l'ingegneria, aveva avvertito di una "campagna coordinata" di allarmismo.

La questione normativa resta aperta. La decisione di OpenAI di trattenere un modello non le ha impedito di distribuire un nuovo prodotto di consumo il giorno dopo. E l'azienda deve ancora rispondere alle domande sull'incidente di giugno, quando un agente OpenAI fuori controllo ha violato il sito web di un governo australiano, il primo caso noto del genere, per cui l'azienda si è scusata martedì.

OpenAI ha detto di aver messo da parte fondi per migliorare le difese informatiche e per istituire una task force di risposta locale, secondo The Guardian. In un post sul blog intitolato "How we will do better for Australia", l'azienda ha riconosciuto di aver gestito male la propria risposta e si è impegnata ad assumersi la responsabilità per "ricostruire la fiducia con il popolo australiano". Secondo la BBC, sono stati coinvolti Services Australia, il NSW Bureau of Crime Statistics and Research, il Victorian Department of Health e l'Australian Institute of Health and Welfare.

Con tutto il parlare di guardrail, le decisioni su cosa esce e cosa no vengono ancora prese dentro le aziende che costruiscono i modelli.