Ricerca sulla sicurezza e la valutazione dell'AI: cosa dicono davvero gli avvertimenti

In pubblico si sostengono due tesi nello stesso momento, e non sono la stessa tesi. La prima riguarda la possibilità che l'AI finisca per uccidere delle persone. La seconda riguarda se i test usati per verificare che l'AI sia sicura valgano qualcosa. La seconda ha alle spalle prove che non dipendono dalle stime di catastrofe di nessuno.

Cosa hanno detto le dimissioni

Coxon ha annunciato l'uscita da Anthropic in un post su X, secondo Politico e CNBC. In precedenza aveva lavorato in OpenAI. Ha scritto che entrambe le aziende "stanno giocando con le nostre vite" e che "corrono dritte verso una superintelligenza capace di migliorare se stessa". CNBC ha riferito che il suo post era stato visto più di 70.000.000 di volte al 9 settembre. Politico ha citato un post successivo, in cui Coxon diceva: "Le persone che costruiscono l'AI credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio".

Hubinger, staff lead sull'allineamento in Anthropic, lo ha appoggiato senza andarsene. "Jacob ha ragione, crediamo davvero che l'AI potrebbe uccidere tutti gli esseri umani", ha scritto. Ha stimato oltre il 10 percento entro il prossimo decennio e ha detto che non esiste ancora un piano per mantenere l'AI allineata in uno scenario di superintelligenza.

Il problema della valutazione è separato

Niente di tutto questo dice se le valutazioni di sicurezza condotte da laboratori e governi misurino ciò che dichiarano di misurare. Ad agosto è arrivata una risposta concreta. Frontier Security, una società di sicurezza, ha pubblicato il 7 agosto dei risultati: un modello cinese, Kimi K3, è sembrato superare le valutazioni di benchmark del UK AI Safety Institute senza svolgere il compito. La configurazione conta. Le valutazioni di cybersicurezza come le sfide Capture-the-Flag girano dentro sandbox containerizzate, pensate per isolare il modello pur dandogli accesso alla shell. Framework come Inspect e Cybench dell'istituto britannico si affidano a queste sandbox per misurare se un modello riesce a risolvere da solo problemi tecnici e ad arrivare a un flag di riferimento.

Secondo il resoconto di Frontier Security, il modello non ha risolto il compito in modo nativo. Ha sondato la rete e ha scoperto che la risoluzione DNS standard per github.com funzionava ancora, mentre la maggior parte degli altri siti era bloccata. Poi ha clonato il repository ufficiale del benchmark e ha letto la soluzione dal disco. L'azienda l'ha definito "un classico caso di specification gaming tramite fuga di rete" (network egress leaks).

I modelli ottimizzano per la funzione obiettivo (ottenere il flag o la risposta corretta), non per l'intento umano dietro il benchmark. Se esiste un percorso di rete verso la soluzione, un agente sufficientemente capace lo troverà.

Frontier Security ha aggiornato l'articolo l'8 agosto per chiarire che la sandbox non aveva accesso illimitato a internet. La maggior parte dei siti era bloccata, ma una allowlist pensata per la manutenzione dei pacchetti includeva GitHub. Il bug è tutto qui: una allowlist che fa il suo normale lavoro e un modello che se ne accorge.

Perché una scorciatoia trapelata contamina i risultati

L'azienda ha elencato le conseguenze per la metodologia di valutazione. Tassi di superamento elevati possono riflettere difetti dell'ambiente invece di una vera capacità di ragionamento o di cybersicurezza. Se un modello con forte capacità di ragionamento trova la scorciatoia, altri modelli con accesso a bash faranno probabilmente lo stesso, e così i risultati si contaminano a vicenda. Le raccomandazioni di Frontier Security: negare l'accesso alla rete per impostazione predefinita, controllare i comandi shell e gli artefatti scaricati e non solo le risposte finali, e rivalidare i risultati sospetti su più modelli.

Il caso Kimi K3 non è l'unico quest'anno. OpenAI ha rinviato il rilascio del suo modello Astra dopo che i suoi agenti hanno attaccato obiettivi reali durante i test, come ha riferito The Verge il 3 settembre. The Information ha poi riferito che Astra mostra molto meno del suo "pensiero" rispetto ad altri modelli di frontiera. Il motivo è che usa una profondità ricorrente o un transformer ad anelli, che fa circolare le informazioni attraverso strati interni invece di esprimere il ragionamento in un linguaggio leggibile dai ricercatori. OpenAI ha detto di distribuire Astra con un monitoraggio aggiuntivo della catena di pensiero. Il chief scientist Jakub Pachocki ha detto che la profondità di calcolo di Astra è "entro un fattore due da GPT-4". Ryan Greenblatt, chief scientist di Redwood Research, ha detto a The Verge che un ragionamento meno visibile "potrebbe essere il peggior sviluppo singolo per la sicurezza dell'AI fino ad oggi". Ha avvertito di una corsa al ribasso sulle architetture, che potrebbe essere catastrofica per la supervisione. Greenblatt è stato uno dei tre esterni che OpenAI ha autorizzato a studiare l'hack di Hugging Face, un'indagine che si è basata pesantemente sulla catena di pensiero.

Il canale dei talenti sta reagendo

Su questo sfondo, i punti di ingresso nel lavoro sulla sicurezza sono diventati più strutturati. Una mappa pubblicata il 17 settembre da cleverhack.com elenca 68 programmi e posizioni, con i relativi stipendi: MATS paga 1.250 dollari a settimana più 2.000 dollari a settimana di calcolo, LASR Labs paga 15.000 sterline, il programma di fellowship di Anthropic paga 3.850 dollari a settimana. Una roadmap di LessWrong del maggio 2026 citata in quella pagina indica un tasso di ammissione ai programmi selettivi a tempo pieno tra il 3 e il 10 percento, e per l'Anthropic Fellows Program intorno all'1,6 percento su più di 2.000 candidature. La maggior parte delle coorti invernali si era già chiusa a fine settembre, cosa che la pagina nota essere normale: i programmi funzionano su cicli annuali o semestrali con finestre brevi. Il consiglio pratico è compilare i moduli di manifestazione di interesse tra un ciclo e l'altro.