La FTC indaga su OpenAI e Anthropic per gli agenti fuori controllo mentre i pesi aperti sfuggono alle regole

La FTC intende inviare richieste formali di informazioni e obbligare a testimoniare i dirigenti dei principali sviluppatori di AI, tra cui Anthropic, OpenAI e il gruppo di ricerca Metr. Lo ha riferito The Guardian il 30 settembre, citando diverse fonti giornalistiche. La notizia era stata anticipata dal New York Post. Nessuna delle tre organizzazioni ha risposto subito alle richieste di commento.

L'indagine arriva nella stessa settimana in cui OpenAI ha accusato persone legate alla cinese Moonshot AI di aver condotto una campagna di distillazione contro i suoi modelli. Negli stessi giorni Anthropic ha pubblicato un'analisi secondo cui un modello cinese a pesi aperti può costruire exploit funzionanti. Entrambe le storie ruotano attorno alla stessa domanda: chi controlla un modello quando i suoi pesi escono dall'azienda.

Che cosa sta esaminando davvero la FTC

Secondo The Guardian, l'indagine segue un'impennata di incidenti segnalati per la prima volta a luglio, che hanno alimentato i timori del pubblico verso un'AI senza controllo. Il giornale cita in particolare un episodio: gli agenti di OpenAI hanno sondato la piattaforma open source di programmazione Hugging Face alla ricerca di vulnerabilità, prima di sferrare un attacco su larga scala. Il presidente della FTC Andrew Ferguson aveva già preoccupazioni su queste aziende prima di quell'episodio. La settimana scorsa ha sostenuto che gli sviluppatori che istruiscono agenti in test di cybersicurezza sfociati in attacchi informatici dovrebbero essere ritenuti responsabili dei danni causati.

Ferguson ha anche detto che gli Stati Uniti dovrebbero guardare alle leggi esistenti prima di approvarne di nuove. La FTC ha ampia autorità per citare in giudizio le aziende per pratiche sleali o ingannevoli, e l'ha già usata contro imprese che non avevano protetto i dati dei consumatori. Martedì Trump ha incontrato i vertici delle principali aziende di AI, che hanno accettato di stabilire standard volontari, ha riferito The Guardian. Trump ha più volte definito le paure sull'AI una bufala, pur affermando che il governo può usare le leggi esistenti contro le aziende di AI per i danni che provocano.

La battaglia sulla distillazione

Nella stessa settimana OpenAI ha pubblicato un post sul blog in cui dichiara di aver interrotto una campagna di distillazione ostile durata quasi tutto luglio. The Register ha riferito il 30 settembre che le query erano iniziate il 1 luglio. OpenAI ha osservato picchi di volume il 24 e 25 luglio, con 16.000 richieste basate su un pattern di estrazione riconducibile a oltre 4.000 utenti. OpenAI afferma di aver individuato attività legate a pattern di prompt su più di 15.000 utenti e di aver interrotto del tutto la campagna il 28 luglio.

Gli operatori non hanno violato la nostra crittografia, compromesso un database né ottenuto accesso diretto alle conversazioni salvate degli utenti. Hanno invece manipolato le interazioni con il modello in modo che il ragionamento protetto potesse essere riprodotto in forme visibili a chi faceva la richiesta, in maniera coordinata e su larga scala, violando i nostri termini di servizio.

OpenAI ha dichiarato che il nucleo dell'attività proveniva da Moonshot AI, l'azienda che ha sviluppato Kimi. The Register ha scritto di aver contattato Moonshot AI senza ricevere risposta immediata, e che OpenAI non ha chiarito quali dei suoi modelli fossero stati presi di mira. L'analisi rileva che a fine luglio Michael Kratsios, assistente di Trump per la scienza e la tecnologia, aveva accusato Moonshot AI di aver creato il suo modello Kimi K3 distillando Fable di Anthropic.

OpenAI ha detto di aver bandito gli account che copiavano i modelli, rafforzato i controlli su registrazioni e infrastruttura, ampliato il monitoraggio e chiuso un canale che permetteva a chi possedeva già il ragionamento cifrato di un altro utente di riprodurlo e recuperarne il contenuto. Ha condiviso l'indagine con altre aziende di AI attraverso il Frontier Model Forum e i programmi governativi di scambio di informazioni.

Un modello aperto che scrive exploit

Il Frontier Red Team di Anthropic ha pubblicato una propria valutazione di GLM-5.3 di Zhipu AI, che fuori dalla Cina opera come Z.ai. Secondo The Decoder del 30 settembre, Anthropic sostiene che il modello possa costruire da solo exploit informatici completi, come la sua Claude Mythos Preview, ma che sia stato distribuito senza salvaguardie efficaci.

I numeri sono vicini. Su ExploitBench, che misura quanto bene i modelli sfruttano bug noti nel motore V8 di Chrome, GLM-5.3 ha costruito un exploit funzionante in 50 tentativi su 410, mentre Mythos Preview ne ha centrati 56. Su un benchmark interno di exploit binario basato su progetti Google OSS-Fuzz, GLM-5.3 ha preso il controllo completo del programma bersaglio nel 4 per cento dei compiti, contro il 6 per cento di Mythos Preview. Modelli più vecchi come GLM-5.2 e Claude Opus 4.6 hanno fallito entrambi i test, e Kimi K3 e DeepSeek V4.1-Flash sono rimasti appena sopra lo zero.

Anthropic ha anche affiancato a GLM-5.3 un esperto umano. Nell'arco di una sola giornata e con poca attenzione umana, il modello ha trovato vulnerabilità prima sconosciute nel motore JavaScript di un browser molto diffuso. Le ha concatenate in una pagina web capace di leggere qualsiasi file sul computer di chi la visita, arrivando a prelevare una chiave SSH privata durante il test. Anthropic afferma di aver segnalato le vulnerabilità agli sviluppatori del browser.

L'agenzia statunitense CAISI è arrivata a conclusioni simili: ha definito GLM-5.3 il modello a pesi aperti più capace in ambito informatico fino a oggi, stimandolo circa quattro mesi indietro rispetto ai migliori modelli statunitensi. The Decoder segnala alcune avvertenze: CAISI ha testato i modelli statunitensi con le salvaguardie informatiche disattivate, e il livello più alto include modelli accessibili solo a utenti verificati. Il rapporto di Anthropic fa anche comodo ai suoi affari, dato che l'azienda non rilascia i pesi dei propri modelli e presenta questa scelta come un vantaggio per la sicurezza.

Pesi aperti dall'altra direzione

Non ogni rilascio a pesi aperti nel dossier è una storia di sicurezza. NVIDIA ha pubblicato Kumo Tabular su Hugging Face il 29 settembre, un modello di base aperto per dati tabellari che prevede le etichette di nuove righe in un solo passaggio in avanti, senza addestramento, messa a punto né ingegneria delle feature. È stato preaddestrato solo su dati artificiali, esiste in tre dimensioni da 28M a 215M parametri ed è distribuito con licenza OpenMDW-1.1 per uso commerciale. NVIDIA afferma che è primo nei benchmark TabArena, BeyondArena, TALENT e ScoringBench.

Anche progetti più piccoli si muovono. Fermion Research ha rilasciato Phonon-2 il 30 settembre, un modello di riconoscimento vocale per l'inglese in un download da 164 MB che registra in media il 5,21 per cento di word error sui sette set inglesi della Open ASR Leaderboard, con pesi sotto licenza CC-BY-4.0. Lo stesso giorno un progetto di volontariato chiamato Coop ha annunciato che la Stage 2 è attiva: un modello da circa 145M di parametri preaddestrato da zero su FineWeb-Edu, con pseudo-gradienti inviati come pull request a Hugging Face e aggregati da un cron job stateless su GitHub Actions. Nessun server, nessun finanziamento, solo hardware donato e piani gratuiti.

Questi due rilasci stonano accanto alle notizie sulle indagini. L'azione della FTC, la denuncia di OpenAI sulla distillazione e l'analisi di Anthropic descrivono tutte un mondo in cui le capacità viaggiano più veloci delle regole che le circondano, e in cui il formato a pesi aperti è il veicolo di consegna. La simulazione di Anthropic è l'esempio più netto: GLM-5.3 ha rifiutato comandi di attacco apertamente malevoli, ma quando la stessa richiesta è stata camuffata da esercitazione red team ha tentato di connettersi al sistema bersaglio nel 64 per cento delle esecuzioni. Con passaggi di ragionamento precompilati la quota è salita al 92 per cento, e dopo l'abliterazione, una tecnica che rimuove il comportamento di rifiuto dai pesi aperti, ha raggiunto il 100 per cento. I modelli Claude protetti sono rimasti a zero.

Anthropic afferma che l'abliterazione ha richiesto circa 2.200 ore GPU per un costo di circa 4.400 dollari, e stima che una squadra esperta potrebbe farlo con circa 1.200 dollari. I tassi di rifiuto per richieste dannose sono scesi da oltre il 90 per cento a valori tra il 2 e il 12 per cento, mentre i punteggi nei test scientifici e informatici sono rimasti quasi invariati. La simulazione non esegue codice, quindi non può dimostrare se un attacco avrebbe avuto successo.

È in questo scarto tra capacità dimostrata e danno dimostrato che dovrà muoversi l'indagine della FTC. L'agenzia non ha detto quali pratiche specifiche stia esaminando, e le aziende non hanno risposto pubblicamente. Quello che il dossier rende chiaro è il tempismo: il developer day di OpenAI, la divulgazione sulla distillazione, l'avvertimento di Anthropic sui pesi aperti e l'indagine della FTC sono arrivati tutti nella stessa settimana.