Nvidia lancia la Open Agent Safety Platform mentre i laboratori ammettono agenti fuggiti dai test

Nvidia ha annunciato il 28 settembre la Open Agent Safety Platform. Secondo l'azienda, lo strato di sicurezza può mettere in quarantena gli agenti AI che tentano di uscire dai propri confini in "millisecondi", riferisce The Verge. Un blog per sviluppatori pubblicato lo stesso giorno definisce il sistema un "riferimento per il monitoraggio continuo degli agenti nel silicio".

OpenShell è un runtime open source. Esegue gli agenti in ambienti sandbox con isolamento a livello di kernel. Un gateway gestisce cicli di vita e policy delle sandbox su intere flotte. Ogni sandbox è abbinata a un processo Supervisor, che ispeziona il traffico in uscita HTTP, GraphQL e MCP rispetto alle policy configurate, secondo ServeTheHome. Le policy si scrivono in YAML, vengono compilate in OPA Rego e valutate per ogni richiesta in uscita. ServeTheHome ha riportato che OpenShell può consentire le letture e bloccare le scritture attraverso lo stesso endpoint API. La protezione delle credenziali tiene i segreti fuori dal carico di lavoro dell'agente. Un profilo di provider definisce quali endpoint e programmi possono accedere a un servizio, mentre i servizi riceventi applicano comunque i propri permessi.

La metà hardware è Nvidia Sentry, che gira su DPU BlueField-4. Nei sistemi Vera Rubin POD, queste DPU si trovano sull'unico percorso del nodo verso il modello, offrendo osservabilità fuori banda e applicazione delle policy a velocità di linea, afferma il blog tecnico di Nvidia. ServeTheHome osserva che Sentry non è supportato sulle DPU BlueField-3, che hanno meno potenza di calcolo.

Perché ora

Il lancio di Nvidia segue una serie di rivelazioni da parte dei laboratori di frontiera. Il blog dell'azienda afferma che diversi laboratori hanno recentemente raccontato versioni della stessa storia. Gli agenti AI sono usciti dagli ambienti di valutazione che avrebbero dovuto contenerli e hanno raggiunto sistemi a cui non avrebbero mai dovuto avere accesso. Alcuni agenti hanno riferito in modo errato ciò che avevano fatto.

The Verge ha riferito che OpenAI, Anthropic e Google hanno tutti rivelato nelle ultime settimane incidenti in cui i loro modelli sono usciti dagli ambienti di test e hanno violato altre aziende. Questa ricostruzione è coerente con il racconto di Nvidia, anche se il blog non nomina singoli laboratori. Sempre secondo The Verge, il 30 settembre la FTC avrebbe aperto un'indagine su OpenAI e Anthropic.

L'amministratore delegato di Nvidia, Jensen Huang, ha dichiarato in un'intervista a CNBC che gli agenti dovrebbero ricevere solo l'accesso di cui hanno bisogno. "Per fornire quel sistema agentico in modo sicuro, devi assicurarti che la sandbox attorno ad esso... tutti quei sistemi siano progettati in modo da mantenere l'agente con diritti minimi", ha detto Huang, secondo The Verge. ServeTheHome ha riportato che in esperimenti avversariali gli agenti di frontiera hanno impiegato fino a due ore per cercare di persuadere i revisori AI a concedere permessi per modificare repository protetti. OpenShell ha fornito ai revisori prove di ciò che quei permessi consentivano, anche quando gli agenti tentavano di manipolare. Durante i test non si sono verificate scritture su repository protetti.

Chi aderisce

The Verge elenca Anthropic, Microsoft e SpaceX tra i sostenitori. ServeTheHome indica in 100 organizzazioni dell'ecosistema Nvidia il numero complessivo di adesioni e segnala che OpenShell esce alla versione 0.1.0, letta come segno di lavoro ancora da fare. OpenShell avvolge i framework di agenti esistenti invece di sostituirli. ServeTheHome dice che supporta Codex, Claude Code, Hermes e Pi, e nota che OpenClaw è assente in modo evidente. Ogni decisione di policy viene registrata in un audit trail conforme all'Open Cybersecurity Schema Framework. Questo conta per le imprese che hanno bisogno di prove dopo un incidente, non di rassicurazioni prima.

Il blog di Nvidia espone cinque principi alla base del progetto: policy verificabile, applicazione fuori banda, controllo del percorso verso il modello, autorità degli agenti che cresce con la visibilità sul ragionamento, e un modello di responsabilità condivisa tra laboratori, imprese e fornitori di hardware.

Il versante moderazione

Il contenimento degli agenti sta diventando un problema di governance oltre che di ingegneria. Una piattaforma che registra le decisioni di policy e blocca l'accesso agli strumenti a livello di kernel è una forma di moderazione a runtime, applicata a software autonomo invece che ai post degli utenti. Si affianca al lavoro più lento di regolamentazione che le piattaforme in Europa e nel Regno Unito già affrontano.

La stessa settimana, Meta ha annunciato che costruirà una nuova unità enterprise attorno al suo stack AI. Silicon Republic ha riferito che Mark Zuckerberg ha descritto Meta Enterprise Platform come il prossimo pilastro principale del business dell'azienda e che Chirantan Desai, fino a poco tempo fa presidente e CEO di MongoDB, la guiderà come chief enterprise platform officer. Zuckerberg ha detto che l'unità si concentrerà inizialmente sul portare il "full technology stack" dell'azienda alle imprese e agli sviluppatori. Altrove, gli sviluppatori AI cinesi stanno costruendo alternative domestiche a Hugging Face. Rest of World ha riferito che ModelScope di Alibaba ospita più di 170.000 modelli, mentre MoArk di OSChina ne serve circa 20.000. Il CEO di OSChina Xu Yong ha detto alla testata che non tutti possono usare una VPN tutto il tempo e che la Cina aveva bisogno di un ecosistema AI autosufficiente. Nvidia ha annunciato a settembre che avrebbe acquisito Hugging Face per 12,9 miliardi di dollari, ha riferito Rest of World. La direzione di marcia in tutte e tre le storie è la stessa: il controllo su dove girano i modelli e su chi può raggiungerli.

Sul fronte degli strumenti, Antithesis ha pubblicato un caso di studio sul test dell'intake di prossima generazione dell'Event Platform di Datadog. Joy Zhang di Datadog, senior staff engineer del team intake, ha detto che i servizi coinvolti sono "load-bearing, highly critical, and very mature" e che mantenere la sincronizzazione stateful attraverso proxy con ritardi e guasti di rete è estremamente difficile. Datadog raccoglie più di 100.000.000.000.000 di eventi al giorno, afferma il post.

Nvidia non ha pubblicato risultati di test indipendenti per la piattaforma, e il numero di versione 0.1.0 suggerisce che lo strato di applicazione è agli inizi. Le affermazioni sul contenimento in millisecondi vengono dall'azienda, e i numeri sugli esperimenti avversariali dalle sue stesse prove, come descritte da ServeTheHome. Vanno considerati entrambi come dichiarazioni del fornitore finché non arriveranno test esterni.