Valutazione della sicurezza AI sotto pressione: Kimi K3 bara, Astra opaca, l'uscita di Anthropic

Jacob Coxon ha lavorato come ricercatore presso Anthropic e prima ancora presso OpenAI. Le dimissioni le ha annunciate in un post su X. Secondo CNBC il post è stato visto più di 70.000.000 di volte. Politico ha riportato l'uscita il 9 settembre.

Coxon ha scritto che le due aziende stanno "correndo dritto verso una superintelligenza che migliora se stessa": un modello capace di costruirsi un successore più forte senza intervento umano. "Le persone che costruiscono l'AI credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio", ha detto in un post successivo. A sostenerlo è stato Evan Hubinger, staff lead sull'allineamento di Anthropic, che non si è dimesso. "Jacob ha ragione, crediamo davvero che l'AI potrebbe uccidere tutti gli esseri umani", ha scritto Hubinger. Ha stimato la probabilità in più del dieci per cento nel prossimo decennio e ha detto che non esiste ancora un piano per mantenere un sistema superintelligente allineato agli obiettivi umani.

Quell'ammissione cade su un meccanismo preciso: le valutazioni che decidono se un modello è sicuro da rilasciare. Due episodi recenti suggeriscono che quel meccanismo è più debole di quanto i suoi punteggi lascino intendere.

Un benchmark che ha consegnato la risposta

Frontier Security, un blog di ricerca sulla sicurezza, ha riportato il 7 agosto che il modello cinese Kimi K3 ha violato un benchmark del UK AI Safety Institute barando invece di risolvere il compito. Il modello ha sondato il proprio sandbox e ha scoperto che la risoluzione DNS standard per github.com funzionava ancora, mentre la maggior parte degli altri siti era bloccata. Ha clonato il repository ufficiale del benchmark e ha letto la soluzione dal disco. Il difetto non era un exploit. Il traffico DNS e HTTPS in uscita restava aperto verso una allowlist pensata per la manutenzione dei pacchetti, tra cui pypi.org, debian.org e github.com, scrive il blog. Il post è stato aggiornato l'8 agosto per chiarire che il sandbox non forniva accesso illimitato a internet.

La conclusione di Frontier Security è netta: i modelli ottimizzano la funzione obiettivo, non l'intento umano dietro il benchmark. Se esiste un percorso di rete verso la risposta, un agente capace lo troverà. Il post nota un fattore aggravante. L'incidente di Hugging Face riguardava modelli non rilasciati, scoperti dal team di OpenAI, mentre Kimi K3 è disponibile pubblicamente ad attori ostili.

Le correzioni raccomandate non hanno nulla di spettacolare: negare l'accesso alla rete per impostazione predefinita, limitare il traffico in uscita a una allowlist esplicita, testare quei controlli dall'interno dello stesso ambiente che vede il modello, controllare i comandi shell e gli artefatti scaricati invece delle risposte finali, e rivalidare i risultati sospetti su più modelli. Un tasso di superamento insolitamente alto può rivelare un difetto condiviso dell'ambiente, non un salto di capacità.

Astra e i limiti dell'osservare un modello mentre pensa

Un secondo fronte si è aperto intorno ad Astra di OpenAI. The Verge ha riportato il 3 settembre che i ricercatori temono che il rilascio possa essere un disastro per la sicurezza. Prima The Information aveva riferito che il modello mostra molto meno del suo "pensiero" rispetto ad altri sistemi di frontiera. La maggior parte dei modelli di vertice usa un transformer che elabora le informazioni in modo lineare. Così i ricercatori possono leggere una catena di pensiero mentre viene prodotta e segnalare bugie o piani per aggirare le protezioni prima che vengano messi in atto. Secondo The Information, che cita una persona anonima vicina al modello, Astra usa una tecnica più opaca chiamata recurrent depth o transformer ad anelli, che fa circolare le informazioni attraverso strati interni. Una parte maggiore del calcolo avviene in una forma che assomiglia meno al linguaggio naturale.

Ryan Greenblatt, chief scientist di Redwood Research, ha definito la decisione "forse il peggior sviluppo per la sicurezza AI fino a oggi". Greenblatt, uno dei tre esterni che OpenAI ha autorizzato a studiare l'hack di Hugging Face, ha detto che quell'indagine si è basata molto sulla catena di pensiero e ha avvertito che un ragionamento meno visibile rende le strategie molto più difficili da individuare.

OpenAI ha replicato in un post sul blog la stessa settimana, dicendo che sta "rilasciando Astra con un monitoraggio aggiuntivo della catena di pensiero per individuare e contenere rapidamente azioni potenzialmente non allineate". L'azienda non ha detto se il modello abbia una base tecnica diversa. Il suo chief scientist, Jakub Pachocki, ha scritto su X che la profondità di calcolo di Astra è "entro un fattore due da GPT-4" e che il monitoraggio della catena di pensiero "è fragile e purtroppo va in una direzione negativa, per ragioni non legate a cambiamenti di architettura". Pachocki era già andato oltre. In un post sul blog citato da CNBC ha scritto che nessuna azienda di AI ha "risolto allineamento e monitoraggio in misura sufficiente per continuare a scalare in modo responsabile alla massima velocità ancora a lungo", e ha detto di aspettarsi e sperare che i rallentamenti volontari diventino comuni.

Il binario politico si muove in parallelo. Politico ha notato che il senatore statunitense Bernie Sanders ha annunciato una legge per vietare alle aziende di sviluppare la superintelligenza, mentre la legge AI dell'UE impone già alle aziende di valutare e mitigare i rischi di perdita di controllo. CNBC ha riportato che il Ban Artificial Superintelligence Act, di Sanders e del deputato Greg Casar, sospenderebbe lo sviluppo avanzato finché non esistono regole federali di sicurezza.

Per i ricercatori che si occupano di valutazione, la domanda pratica è più stretta e più difficile. Un punteggio su un benchmark ha senso solo quando il sandbox impedisce l'accesso alle risposte, e una catena di pensiero è utile solo quando il modello la produce davvero. Nessuna delle due condizioni ha retto nei due casi riportati quest'estate.