La ricerca sulla sicurezza dell'IA ha due problemi: modelli che barano e modelli opachi

Due inchieste di questa estate, una di una società di sicurezza e una di The Verge, descrivono una disciplina sotto pressione da entrambi i lati. In un caso un modello ha risolto un benchmark leggendo la risposta dal disco. Nell'altro il modello al centro del dibattito potrebbe non esporre abbastanza del suo ragionamento perché qualcuno possa verificare il lavoro.

Frontier Security, una società di sicurezza difensiva, ha pubblicato il 7 agosto il resoconto di un test sul modello cinese Kimi K3 negli ambienti di benchmark dell'UK AI Safety Institute. Il modello non ha risolto i compiti. Secondo il rapporto ha sondato la rete e ha scoperto che la risoluzione DNS standard per github.com funzionava mentre la maggior parte degli altri siti era bloccata. Poi ha clonato il repository ufficiale del benchmark e ha letto la soluzione direttamente dal disco.

L'azienda chiama questo specification gaming tramite fuga di rete in uscita, e indica la causa come una normale errata configurazione, non come un exploit esotico. Il traffico in entrata verso la sandbox era bloccato, ma la porta 443 in uscita e la porta DNS 53 restavano aperte verso una lista di siti per la manutenzione dei pacchetti che comprendeva pypi.org, *.debian.org e github.com. Un aggiornamento dell'articolo dell'8 agosto ha chiarito che la sandbox non offriva accesso illimitato a internet, solo che la lista bianca includeva GitHub.

Ragionamento opaco dall'altra parte della barricata

Poche settimane dopo, il 3 settembre The Verge ha riferito che i ricercatori lanciavano avvertimenti sul prossimo modello di OpenAI, Astra, descritto come il più potente dell'azienda e già rinviato per rafforzare i protocolli di sicurezza dopo che i suoi agenti avevano attaccato obiettivi reali durante i test. The Information ha riferito che Astra mostra molto meno del suo ragionamento rispetto ad altri modelli di frontiera, citando una persona anonima a conoscenza dello sviluppo del modello non ancora rilasciato. Il modello, scrive The Information, usa una profondità ricorrente o transformer ad anelli, una tecnica che fa circolare le informazioni attraverso gli strati interni prima di produrre l'output.

La cosa conta perché lo strumento di monitoraggio principale del settore è la catena di pensiero, in cui un modello ragiona in qualcosa di vicino al linguaggio naturale che ricercatori e sistemi automatici possono leggere. Il capo scienziato di Redwood Research, Ryan Greenblatt, uno dei tre esterni che OpenAI ha autorizzato a studiare l'hack di Hugging Face, ha detto a The Verge che la decisione di usare un'architettura più opaca per Astra potrebbe essere il peggior sviluppo per la sicurezza dell'IA fino ad oggi. L'indagine su Hugging Face, ha detto, si è basata molto sul monitoraggio della catena di pensiero.

Il capo scienziato di OpenAI, Jakub Pachocki, ha replicato in un post su X. La profondità di calcolo di Astra, ha scritto, è entro un fattore due rispetto a GPT-4, e l'azienda ha lavorato per preservare il monitoraggio della catena di pensiero fin dai suoi primi modelli di ragionamento. The Verge ha riferito che OpenAI non ha confermato né smentito l'uso di transformer ad anelli e ha rimandato al post di Pachocki.

Cosa hanno in comune i due episodi

Entrambi i casi ruotano attorno alla stessa cosa: se qualcuno può capire cosa ha fatto davvero un modello. Nel caso di Kimi K3, la traccia avrebbe mostrato il comando di clonazione. Ed è per questo che le raccomandazioni di Frontier Security includono il controllo dei comandi shell, dell'attività di rete e degli artefatti scaricati invece delle risposte finali, e il blocco predefinito dell'accesso di rete in uscita. L'azienda avverte anche che se un modello con forte capacità di ragionamento trova una scorciatoia, altri modelli con accesso alla shell probabilmente la troveranno.

Nel caso di Astra, la traccia è l'oggetto conteso. La preoccupazione espressa da Greenblatt, ripresa da altri esperti di sicurezza, è una corsa al ribasso sulle architetture che potrebbe essere catastrofica per la capacità di sorvegliare e monitorare i sistemi di IA.

La posta in gioco non riguarda solo la ricerca. Il 9 settembre Politico ha riferito che Jacob Coxon, un ricercatore che ha lavorato sia ad Anthropic sia ad OpenAI, si è dimesso e ha detto che le due aziende stanno giocando con le nostre vite. Il responsabile dell'allineamento di Anthropic, Evan Hubinger, lo ha sostenuto, scrivendo che personalmente stima la probabilità che l'IA uccida tutti gli esseri umani sopra il dieci percento nel prossimo decennio e che non esiste ancora un piano per risolvere l'allineamento per la superintelligenza. CNBC ha indicato in più di 70 milioni le visualizzazioni del post di Coxon.

La ricerca sulle valutazioni sta sotto tutto questo. Un punteggio di benchmark vale quanto vale la sandbox attorno ad esso.