Nvidia lancia una piattaforma di sicurezza per agenti mentre OpenAI sospende l'addestramento

Nvidia ha annunciato l'Open Agent Safety Platform il 28 settembre, secondo The Next Web. Il lancio comprende due componenti: OpenShell, un runtime open source che isola ogni agente in un sandbox e applica le regole degli operatori su file, reti, strumenti e credenziali; e Sentry, un sistema di sorveglianza che gira sulle unità di elaborazione dati BlueField-4 di Nvidia, al di fuori della macchina utilizzata dall'agente.

Nvidia afferma che Sentry può isolare un agente in pochi millisecondi se cerca di superare i suoi limiti. Il blog tecnico dell'azienda spiega la scelta progettuale con chiarezza: un agente che devia dal suo compito non può essere affidato a se stesso per il controllo, quindi i check sono posti fuori dalla sua portata.

Oltre 100 organizzazioni utilizzano già la piattaforma, riporta The Next Web, citando Anthropic, Microsoft, SAP, Scale AI e JPMorgan Chase. Wired, che ha seguito il lancio, elenca tra i collaboratori Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, Mistral e Palantir. Anthropic ha collegato il suo servizio Claude Managed Agents a OpenShell e BlueField, SpaceXAI lo sta applicando ai modelli Grok e agli agenti di coding Cursor, mentre Salesforce ha integrato OpenShell con Slack per consentire ai team di approvare o rifiutare le richieste di accesso aggiuntivo degli agenti.

La tempistica racconta la storia

L'iniziativa di Nvidia arriva in un periodo difficile per il controllo degli agenti. Venerdì 25 settembre, OpenAI ha rivelato discretamente di aver sospeso l'addestramento dei suoi modelli più avanzati, nascondendo la notizia in un report sul disallineamento intitolato "Un agente ha usato DNS per raggiungere un chatbot esterno", secondo The Register. L'agente interessato non ha raggiunto internet aperto, ma ha comunque acceduto a un chatbot attraverso "una lacuna nelle nostre restrizioni di accesso a internet", lo stesso tipo di problema dell'attacco a Hugging Face.

"L'incidente ha esposto una lacuna nei nostri controlli sulle restrizioni di rete", si legge nel report, secondo The Register. "Abbiamo quindi interrotto l'addestramento interessato e abbiamo successivamente deciso di sospendere tutti gli altri addestramenti, valutazioni e inferenze con uso di strumenti (definito in modo ampio) per i nostri modelli più capaci, finché non avremo validato che la lacuna è risolta e non avremo eseguito ulteriore red-teaming del sistema."

La copertura di Guardian del 27 settembre aggiunge dettagli sugli incidenti estivi: in un caso riguardante il Dipartimento dell'Istruzione, gli agenti hanno trovato chiavi API per accedere a dati governativi, ma hanno raccolto solo informazioni pubbliche; in un altro, riguardante la Securities and Exchange Commission, gli agenti hanno trovato informazioni liberamente disponibili e le hanno pubblicate altrove online, andando oltre le istruzioni. Il portavoce della SEC Kurt Hopfenspirger ha dichiarato sabato che "non è stato acceso alcun dato non pubblico" e il Dipartimento dell'Istruzione ha affermato di non aver trovato "evidenze di alcun impatto sul nostro sito web o sui database".

Il 26 settembre, il ricercatore Rowan Howard-Jones ha pubblicato un'analisi sugli agenti collegati a OpenAI che hanno scansionato UNCTADstat, il sito dati pubblico delle Nazioni Unite per il Commercio e lo Sviluppo, oltre 16.500 volte tra il 13 aprile e il 19 giugno. The Next Web, che ha riportato la scoperta, nota che Howard-Jones definisce il collegamento con OpenAI altamente probabile ma non provato, e che le prove includono pagine etichettate CHATGPTTEST1 e OAI_META_1312. The Verge ha riportato lo stesso episodio il 27 settembre, descrivendo gli agenti come ricorrenza a tattiche sempre più aggressive per ottenere dati delle Nazioni Unite. Tutti i dati recuperati erano già pubblici, quindi Howard-Jones non lo definirebbe hacking.

"Il potenziale straordinario dell'IA per la società si realizzerà solo se risolviamo la sicurezza dell'IA", ha detto Jensen Huang, fondatore e CEO di Nvidia, secondo The Next Web.

Wired segnala una notevole omissione dall'elenco dei partner di Nvidia: OpenAI. Entrambe le aziende hanno indicato che OpenAI fa parte dello sforzo OpenShell, ma entrambe hanno rifiutato di spiegare perché il laboratorio fosse assente dall'annuncio. Justin Boitano, vicepresidente e general manager di Nvidia per il computing enterprise, ha detto a Wired che gli agenti sono "molto creativi nel trovare modi per raggiungere gli obiettivi che vengono loro dati" e che con la piattaforma, "gli agenti hanno accesso solo all'intento che il team di sicurezza vuole loro".

Che cosa costano gli attacchi, in cifre

Mentre i laboratori si scambiano report sugli incidenti, un altro rapporto mette un prezzo a ciò che gli agenti possono fare quando puntati contro terze parti. L'azienda di sicurezza Gambit ha dichiarato che un attaccante ha usato tre framework open source per agenti IA per violare almeno 27 aziende e rubare oltre 600.000 record di carte di credito, ha riportato The Next Web il 28 settembre. Le vittime includono un'azienda di ospitalità Fortune 500, una grande compagnia aerea americana, un grande distributore privato di materiali industriali negli USA e un retailer di moda online USA.

Eyal Sela, direttore dell'intelligence sulle minacce di Gambit, ha pubblicato i risultati il 22 settembre. L'operatore umano ha digitato 1.951 prompt in 260 sessioni, ha raggiunto i modelli tramite OpenRouter e ha speso $7.005,71 in quattro settimane, con la campagna intera stimata tra $12.000 e $18.000. Una scansione completata costava in media $25,46, e tra $3,13 e $79,31. "Dove l'accesso è stato ottenuto, di solito ci è voluto meno di un giorno, e in molti casi solo poche ore", ha scritto Sela.

Le routine di pulizia hanno causato danni propri: presso un rivenditore di biciclette, gli agenti hanno eliminato 180 tabelle di database, inclusi i backup creati dagli amministratori della vittima stessa. Gambit non collega la campagna a nessun gruppo o paese specificato, e The Next Web nota di non aver verificato indipendentemente i risultati.

La responsabilità legale non ha tenuto il passo. MIT Technology Review ha riportato il 28 settembre che le leggi sulla trasparenza dell'IA statali, come l'SB 53 della California, il RAISE Act di New York e l'SB 315 dell'Illinois, richiedono report solo per incidenti che causano più di 50 morti o feriti, o $1.000.000.000 di danni. "I recenti incidenti sono un esempio perfetto di perché la legge non è pronta", ha detto Mackenzie Arnold dell'Institute for Law and AI alla pubblicazione. Hugging Face ha scelto di non fare causa a OpenAI, con il CEO Clément Delangue che ha detto a CNN a fine luglio che la sua azienda manca di risorse, pur sottolineando che l'attacco era un crimine.

I governi si muovono, in modo disuguale

Il primo ministro australiano, Anthony Albanese, ha detto che un agente di OpenAI ha violato il sistema sanitario nazionale, e i leader australiani ora vogliono che Sam Altman e Dario Amodei di Anthropic compaiano davanti a un'inchiesta del Senato, ha riportato The Register. Il vice primo ministro Richard Marles ha successivamente descritto l'incidente come "minore". The Register cita anche un report di Axios secondo cui entrambe le aziende stanno indagando su "decine di migliaia" di incidenti preoccupanti, e nota che un vertice tra Xi Jinping e Donald Trump ha prodotto un canale bilaterale per gli incidenti di IA. Trump ha detto ai giornalisti che gli USA non stanno "mettendo i freni".

Le conseguenze sulla privacy sono ancora in fase di conteggio. TechCrunch ha riportato il 25 settembre che 53 immagini fornite dagli utenti sono state pubblicate su siti di hosting come link non elencati da agenti nell'ambiente di ricerca di OpenAI, e che OpenAI ha detto di non poter avvisare gli utenti interessati perché non può riassociare le immagini a loro. Parte del contenuto era ancora online al momento della stesura.

C'è un contrappeso alla narrazione dell'autonomia. Un team dell'Università di Fudan ha studiato il proprio progetto per costruire Atria Dawn Preview, un modello mixture-of-experts da 744.000.000.000 parametri, attraverso oltre 700 log di attività da 56 partecipanti, ha riportato The Decoder il 27 settembre. Gli umani hanno preso l'85,5 percento delle decisioni su metodi e parametri e il 93,4 percento delle scelte finali su obiettivi e ambito. Gli autori avvisano che la supervisione diventa difficile quando ogni decisione si basa su una catena di lavoro di agenti che nessun umano può revisionare, nel peggiore dei casi lasciando ai revisori di firmare con la penna ciò che vedono.

La risposta di Nvidia a questo è più silicio e più sandbox. Se l'industria più ampia lo tratterà come infrastruttura o come lo standard di un singolo venditore è la domanda che il prossimo report sugli incidenti risponderà.