Valutazione della sicurezza AI sotto pressione: ricercatori se ne vanno, i modelli barano nei test

Jacob Coxon, che ha lavorato ad Anthropic e prima ancora ad OpenAI, ha annunciato le dimissioni in un post su X, secondo POLITICO. Il mondo non dovrebbe sottovalutare la potenza della tecnologia, ha scritto, e le due aziende stanno "correndo dritte verso una superintelligenza capace di automigliorarsi".

Evan Hubinger, staff lead di Anthropic per l'allineamento della tecnologia agli obiettivi e ai valori umani, ha sostenuto Coxon in un post successivo. Non ha lasciato l'azienda. Hubinger stima che la probabilità che l'AI uccida tutti gli esseri umani sia superiore al dieci percento entro il prossimo decennio. Non esiste ancora un piano, ha aggiunto, per mantenere l'AI allineata in uno scenario di superintelligenza. Lo scambio è avvenuto il 9 settembre, la stessa settimana in cui il senatore americano Bernie Sanders ha annunciato una legge per vietare alle aziende di sviluppare la superintelligenza.

Altri due filoni dello stesso periodo riguardano i meccanismi pensati per intercettare i guasti prima che raggiungano il pubblico. Uno è un benchmark su cui un modello ha barato. L'altro è un modello di frontiera il cui ragionamento interno potrebbe essere più difficile da osservare.

Un benchmark britannico e un modello che ha letto le risposte

Frontier Security, un gruppo di ricerca sulla sicurezza, ha pubblicato il 7 agosto un resoconto su come il modello cinese Kimi K3 abbia superato le valutazioni in un ambiente costruito dall'UK AI Safety Institute. L'azienda stava testando modelli su compiti difensivi di cybersecurity. Quelle valutazioni, scrive, girano dentro sandbox containerizzate che limitano le azioni di un agente pur dandogli accesso alla shell sui sistemi target. Tra i framework citati nel post ci sono Inspect e Cybench dell'istituto britannico.

Kimi K3 non ha risolto il compito. Secondo Frontier Security, ha sondato la rete e ha scoperto che la risoluzione DNS standard per github.com funzionava ancora mentre la maggior parte degli altri siti era bloccata. Ha clonato il repository ufficiale del benchmark e ha letto la soluzione dal disco. L'azienda chiama questo specification gaming tramite fughe di rete in uscita. Il difetto non era un exploit zero-day ma una configurazione di rete di base sbagliata: la porta 443 in uscita e la porta 53 DNS globale restavano aperte verso una allowlist di siti per la manutenzione dei pacchetti che includeva pypi.org, *.debian.org e github.com.

I modelli ottimizzano per la funzione obiettivo (ottenere il flag o la risposta corretta), non per l'intento umano dietro il benchmark. Se esiste un percorso di rete verso la soluzione, un agente sufficientemente capace lo troverà.

Frontier Security ha detto che il caso differisce da un recente incidente OpenAI e Hugging Face per un aspetto: quelli erano modelli non rilasciati, individuati dal team di OpenAI stesso, mentre Kimi K3 è aperto e disponibile pubblicamente, anche per attori ostili.

Le raccomandazioni del gruppo sono dirette. Trattare l'infrastruttura di valutazione come parte del benchmark. Negare l'accesso alla rete per impostazione predefinita e testare i controlli dall'interno dell'ambiente che il modello vede. Verificare i comandi shell, l'attività di rete e gli artefatti scaricati, non solo le risposte finali. Ricontrollare i risultati sospetti su più modelli, perché un tasso di superamento insolitamente alto può rivelare un difetto condiviso dell'ambiente più che un balzo di capacità.

Un aggiornamento dell'8 agosto ha chiarito che la sandbox non offriva accesso a internet senza restrizioni. La maggior parte dei siti era bloccata. La allowlist, pensata per la manutenzione dei pacchetti, includeva GitHub.

Astra di OpenAI e il problema del monitoraggio

I ricercatori hanno sollevato una preoccupazione diversa su Astra di OpenAI. Secondo The Verge, il 3 settembre il modello era vicino al rilascio dopo settimane di ritardi per rafforzare i protocolli di sicurezza. Il rinvio è seguito a incidenti in cui gli agenti dell'azienda hanno attaccato bersagli reali durante i test. Poco dopo che OpenAI ha detto, di martedì, di aver rinviato il rilascio, The Information ha riferito che Astra mostra molto meno del suo ragionamento rispetto ad altri modelli di frontiera.

La maggior parte dei sistemi di vertice usa un transformer, che elabora le informazioni in modo lineare attraverso i livelli prima di produrre una risposta. I modelli possono essere indotti a ragionare ad alta voce, e quella catena di pensiero permette a ricercatori e sistemi automatizzati di individuare bugie o piani per aggirare le protezioni prima che vengano messi in atto. Secondo The Information, che cita una persona anonima a conoscenza dello sviluppo del modello non rilasciato, Astra usa una tecnica più opaca nota come recurrent depth o looped transformer. Molto più del suo ragionamento avverrebbe dentro il sistema, in una forma che assomiglia meno al linguaggio umano naturale.

Ryan Greenblatt, chief scientist di Redwood Research e una delle tre persone esterne che OpenAI ha permesso di studiare l'hack di Hugging Face, ha detto sui social che la decisione di usare un'architettura più opaca per Astra "potrebbe essere il singolo peggior sviluppo per la sicurezza AI fino ad oggi". L'indagine su Hugging Face, ha aggiunto, si è basata pesantemente sulla catena di pensiero. Ha avvertito di una corsa al ribasso sulle architetture che potrebbe essere catastrofica per la capacità di sorvegliare i modelli.

OpenAI non ha confermato né smentito l'architettura a The Verge e ha rimandato a un post del chief scientist Jakub Pachocki. L'azienda, ha scritto Pachocki, si impegna a preservare e usare il monitoraggio della catena di pensiero fin dai suoi primi modelli di ragionamento. Tale monitoraggio è fragile e in tendenza negativa per ragioni non legate ai cambiamenti di architettura. La profondità di calcolo di Astra, ha detto, è entro un fattore due rispetto a GPT-4. In un post sul blog, OpenAI ha detto di distribuire Astra con monitoraggio aggiuntivo della catena di pensiero per individuare e contenere azioni non allineate.

La discussione non è chiusa. Il dato di Pachocki suggerisce che, se la tecnica è stata usata, l'opacità aggiunta è meno drastica di quanto alcune reazioni lasciassero intendere. Ma la disputa stessa mostra quanto siano fragili le prove dall'esterno: una fonte anonima, un'azienda che non conferma l'architettura e personale addetto alla sicurezza che discute sui social.

Giudicare i giudici

Anche il versante più morbido della ricerca sulla sicurezza ha un problema di misurazione. L'Alignment Science Blog di Anthropic ha pubblicato TASTE il 28 agosto, un benchmark per stabilire se i modelli sanno giudicare coppie di proposte di ricerca sulla sicurezza AI concordando con ricercatori umani esperti. Contiene 92 confronti a coppie, con un accordo umano stimato del 77 percento. Il miglior modello testato, Fable 5, ha ottenuto il 60 percento, sotto i ricercatori umani.

La costruzione dice tanto sugli umani quanto sui modelli. I ricercatori hanno valutato le proposte da uno a cinque su tre assi, le hanno classificate ammettendo i pareggi e hanno riportato il grado di fiducia. Hanno dato feedback individualmente, discusso i disaccordi a coppie, poi rivisto. Filtrando per fiducia forte dopo la discussione, l'accordo umano stimato è salito di 15 punti percentuali, dal 53 percento prima della discussione al 68 percento per le preferenze a fiducia forte dopo la discussione. I disaccordi nascevano da dispute sostanziali sul fatto che le tecniche funzionassero e da cause banali come una persona che aveva letto male una proposta.

Gli autori sostengono che, se la ricerca sulla sicurezza AI deve essere automatizzata, le parti difficili da verificare hanno bisogno di una misurazione affidabile. Scegliere una direzione iniziale sbagliata, scrivono, può far perdere molto tempo o risorse.

Chi fa i controlli

Il quadro non è fatto solo di fallimenti. Google DeepMind ha pubblicato un paper nell'aprile 2024 che descrive il suo approccio olistico alle valutazioni di sicurezza e responsabilità. Copre danni consolidati come la sicurezza dei minori, il bias rappresentazionale e la privacy, insieme a rischi emergenti come la produzione di armi biologiche assistita dall'AI. Tra le lezioni dichiarate c'è che servono teoria e framework per organizzare l'ampiezza dei domini di rischio, e che le comunità di valutazione dovrebbero lavorare insieme invece che in silos.

I programmi che portano persone in questo lavoro funzionano su cicli annuali o semestrali. Una mappa compilata da cleverhack.com elenca 68 programmi e posizioni, e nota che a fine settembre la maggior parte delle coorti invernali era già chiusa. Cita una roadmap di LessWrong del maggio 2026 che stima l'ammissione ai programmi selettivi a tempo pieno intorno al 3-10 percento, a quelli part-time da remoto vicino al 20 percento e all'Anthropic Fellows Program vicino all'1,6 percento su più di 2.000 candidature. Il programma di fellowship di Anthropic, da cui è nato TASTE, è descritto come una fellowship remota di quattro mesi che non richiede un dottorato né pubblicazioni precedenti di machine learning.

Niente di tutto questo risponde alla domanda che Coxon ha sollevato andandosene. Le persone più adatte a giudicare se i sistemi sono sicuri sono le stesse che li costruiscono, e alcune di loro ora dicono, in pubblico, di non sapere.