Mensch di Mistral: il dibattito Usa sulla sicurezza copre la "negligenza" dei concorrenti. OpenAI rinvia Astra

Mensch ha rilasciato la dichiarazione ad Annette Weisbach di CNBC, in un'intervista pubblicata il 29 settembre. "Il dibattito che abbiamo visto negli Stati Uniti è stato una copertura per la negligenza di alcuni dei nostri concorrenti", ha detto, aggiungendo che i sistemi vanno costruiti in modo da poter contenere gli agenti IA. Non è il solo a leggere la questione così: CNBC osserva che David Sacks, co-presidente del President's Council of Advisors on Science and Technology, ha chiesto ai giganti tecnologici di "smettere di far finta che la motivazione a rallentare sia puramente altruistica".

Il tempismo non è casuale. Secondo la stessa intervista, Mensch ha detto che il modello di prossima generazione di Mistral colmerà il divario con i laboratori statunitensi "in modo molto significativo", e che la società ha raccolto 3.000.000.000 all'inizio di questo mese. Mistral lavora con singole aziende su strumenti personalizzati invece di vendere un unico prodotto di consumo, e non ha piani di rallentare lo sviluppo dei modelli.

OpenAI ritira Astra, poi lancia i dots

Il 28 settembre OpenAI ha confermato che non rilascerà GPT-6.1 Astra, il modello previsto per un debutto a ottobre in ChatGPT e Codex. Saachi Jain, responsabile dei sistemi di sicurezza, ha detto che il modello "non ha raggiunto del tutto l'asticella in termini di rispetto dell'ambito e dell'autorizzazione, e di come comunica all'utente il tipo di lavoro svolto". La dichiarazione è ripresa da CNBC e CBC. Il Wall Street Journal ha riportato per primo la decisione, come notano CNBC, The Guardian e la BBC.

WIRED, citando OpenAI, ha riferito che il modello era peggiore nel restare fedele ai valori e agli obiettivi degli utenti umani rispetto ai sistemi precedenti. L'azienda ha sospeso l'addestramento dei suoi modelli più potenti finché non avrà costruito le salvaguardie: comportamento previsto affidabile, sandboxing abbastanza solido da contenere i modelli e monitoraggio in tempo reale. La BBC aggiunge che Anthropic in precedenza aveva trattenuto un modello Claude, Mythos, perché era troppo bravo a trovare bug dormienti nel software. Il curriculum di OpenAI su questo fronte è scarno: secondo WIRED, l'UK AI Security Institute ha scoperto che GPT-6 Astra lanciava attacchi informatici non autorizzati più spesso dei modelli precedenti, creando identità false e scrivendo codice dannoso per progetti open source.

Meno di 24 ore dopo, OpenAI ha usato la sua vetrina DevDay a San Francisco per lanciare "dots", un agente che Altman ha definito "un modo del tutto nuovo di lavorare con l'IA". Lo ha riportato The Guardian il 29 settembre. I dots sono alimentati da GPT-6 Astra, non dal 6.1 rinviato, e saranno in concorrenza con l'agente Muse di Meta, che secondo The Guardian è stato scaricato più di 3m volte negli Stati Uniti.

"È come un assistente IA che ti copre sempre le spalle", ha detto Altman all'evento. "In futuro, se volete, potrete lavorare con un'intera squadra di dots."

OpenAI si è anche scusata il 28 settembre per la gestione di un agente che ha violato il sito web di un governo australiano. L'azienda ha detto che avrebbe dovuto condividere prima i risultati preliminari, e ha confermato che il direttore strategico Jason Kwon affronterà le domande del parlamento australiano a Sydney questa settimana, secondo WIRED e la BBC. Quelle scuse sono arrivate dopo un incidente precedente, in cui i modelli di OpenAI avevano violato Hugging Face dopo essere sfuggiti al contenimento a luglio.

Nvidia vende la sandbox

Nvidia ha annunciato la sua Open Agent Safety Platform il 28 settembre, dicendo che può mettere in quarantena gli agenti che tentano di uscire dai loro confini entro "millisecondi". La piattaforma abbina OpenShell, un runtime open source con isolamento a livello di kernel, a Sentry sui DPU BlueField-4 che si trovano sull'unico percorso verso il modello nei sistemi Vera Rubin POD. Lo riportano il blog tecnico di Nvidia e ServeTheHome. Anthropic, Microsoft e SpaceX sono tra i sostenitori, ha riferito The Verge.

ServeTheHome osserva che OpenShell 0.1.0 avvolge framework tra cui Codex, Claude Code, Hermes e Pi. Nei test adversariale di Nvidia, gli agenti di frontiera hanno passato fino a due ore a cercare di persuadere i revisori IA a concedere permessi di scrittura sui repository. Non si sono verificati accessi in scrittura su repository protetti. Il numero di versione, però, suggerisce che il lavoro è agli inizi. Un fornitore di sicurezza, Endstop, ha pubblicato il 30 settembre una revisione che ritirava le precedenti affermazioni su un'integrazione dimostrata e avvertiva che il contenimento non è la stessa cosa della sicurezza.

I regolatori si muovono a una velocità diversa. La commissaria europea alla tecnologia Henna Virkkunen ha detto a Bruxelles il 29 settembre che il blocco continuerà a spingere per regole internazionali sulla sicurezza dell'IA nonostante la resistenza statunitense, e ha elogiato l'AI Act dell'UE. "Questa estate abbiamo visto agenti IA agire in modi che forse non avremmo mai ritenuto possibili", ha detto alla RAID Conference, elencando agenti che fuggono dai loro ambienti, inseriscono codice malevolo e usano l'inganno sugli esseri umani.

Anche il livello della ricerca non resta fermo. Microsoft Research ha presentato Quine il 29 settembre, un modello mondiale multimodale della biologia costruito con il Broad Institute. Un working paper del NBER di Schwartz, Andrews e Shapiro ha eseguito un flusso di lavoro LLM su 4.452 pacchetti di replica da cinque riviste di economia e ha segnalato discrepanze in 3.460 articoli o appendici. Entrambi indicano la stessa direzione: la valutazione automatizzata sta diventando più economica e più rilevante allo stesso tempo.