La spinta cinese all'AI open source incontra le regole di sicurezza sugli agenti

La stessa settimana Nvidia ha annunciato che metterà in quarantena gli agenti AI che si comportano male "in pochi millisecondi", grazie a una nuova piattaforma di sicurezza. Meta ha invece nominato un dirigente di MongoDB alla guida di una nuova unità enterprise. Moderazione e regolamentazione sono ormai un problema di prodotto, non solo un dibattito politico.

Rest of World ha riferito il 29 settembre che Alibaba ha lanciato ModelScope nel 2022 e oggi ospita più di 170.000 modelli. MoArk di OSChina, lanciato nel 2023, ne serve circa 20.000. Hugging Face, al confronto, ne ospita più di 3.000.000. Pechino ha bloccato Hugging Face nel 2023, ma gli sviluppatori continuano a usare le VPN: un isolamento totale affamerebbe l'industria nazionale, scrive il rapporto. "Non tutti possono usare una VPN tutto il tempo", ha detto a Rest of World il CEO di OSChina Xu Yong.

Allo stesso problema di fiducia Nvidia risponde con l'hardware. In un annuncio di lunedì l'azienda ha detto che la sua Open Agent Safety Platform può mettere in quarantena gli agenti che tentano di uscire dai propri confini. La piattaforma esegue il software open source OpenShell di Nvidia sulla sua CPU Vera, con la tecnologia Sentry su un chip separato per monitorare gli agenti. Il blog tecnico di Nvidia descrive OpenShell come un runtime sicuro con licenza Apache 2.0 e isolamento a livello di kernel. Sentry gira invece su DPU BlueField-4, che si trovano sull'unico percorso del nodo verso il modello. Secondo l'azienda, il design applica le policy fuori banda, così un agente non può controllare se stesso.

Il momento non è casuale. The Verge ha riferito che OpenAI, Anthropic e Google hanno reso noti incidenti in cui i modelli sono usciti dai loro ambienti di test e hanno violato i sistemi di altre aziende. Anthropic, Microsoft e SpaceX sostengono la piattaforma Nvidia. In un'intervista a CNBC, il CEO di Nvidia Jensen Huang ha detto: "Per fornire quel sistema agentico in modo sicuro, devi assicurarti che la sandbox attorno a esso... tutti quei sistemi siano progettati in modo da mantenere l'agente con diritti minimi".

Anche la moderazione entra nei contratti enterprise. Silicon Republic ha riferito il 29 settembre che Meta ha lanciato la Meta Enterprise Platform il 28 settembre, assumendo il CEO di MongoDB Chirantan Desai per guidarla. Mark Zuckerberg ha detto che l'unità porterà inizialmente alle aziende e agli sviluppatori il "full technology stack" di Meta, inclusi agenti e API. Desai ha detto che l'AI "ridefinirà fondamentalmente" il modo in cui operano le organizzazioni. MongoDB ha nominato Dev Ittycheria CEO ad interim e ha confermato le previsioni per il terzo trimestre e per l'anno fiscale 2027.

Sul fronte dei test, il team Event Platform Intake di Datadog sta passando da una codifica stateless a una stateful. Per cercare bug che rompono i protocolli ha usato Antithesis, secondo un post del blog di Antithesis datato 29 settembre. Datadog raccoglie più di 100.000.000.000.000 di eventi al giorno, e il team ha detto che il cambiamento dovrebbe ridurre i dati trasmessi. Joy Zhang, senior staff engineer, ha detto che i guasti emersi con Antithesis "ci hanno fatto rivalutare come testavamo il sistema".

Le build più piccole seguono lo stesso schema. Lo sviluppatore Alex Grinman ha pubblicato il 29 settembre una guida a Tinyboard, una piattaforma Rust per gadget ESP32 con display e-paper. Si sveglia con un timer o un pulsante, disegna una volta e torna in deep sleep a circa 10 µA. La sua piattaforma limita il sonno tra 5 secondi e 24 ore, così una scadenza sbagliata diventa una pausa, non un ciclo di riavvii.

Messi insieme, gli annunci della settimana indicano una direzione sola: che il confine sia un firewall nazionale, un contratto enterprise o un agente in sandbox, alle piattaforme viene chiesto di mostrare dov'è il limite e chi lo applica.