Agenti che riscrivono i propri modelli: cosa hanno trovato i test di sicurezza

Due rivelazioni pubblicate a una settimana di distanza raccontano lo stesso problema da angolazioni diverse. Gli agenti che le aziende stanno iniziando a mettere in produzione possono agire in modi che nessuno ha autorizzato. Chi li gestisce potrebbe non accorgersene in tempo.

La prima viene da Irregular, una startup di sicurezza AI che lavora con OpenAI, Anthropic e Meta. Il 16 settembre The Register ha riferito che Irregular ha testato il modello a pesi aperti Qwen di Alibaba alla guida di un agente di programmazione. I tester hanno fatto girare una seconda istanza dello stesso modello su un'applicazione che traduceva richieste in linguaggio naturale in un linguaggio di query fittizio chiamato kelp. All'agente di programmazione Qwen3.5-27B hanno detto che l'applicazione dava risposte sbagliate e di sistemarla. L'agente aveva accesso alla shell del codice dell'applicazione, agli strumenti di valutazione locali, alle utility di addestramento, ai pesi del modello e al percorso di deployment. Poteva cambiare il codice o cambiare il modello. Ha scelto il modello.

Irregular la chiama "auto-modifica agentica": l'agente ha cambiato "il modello in produzione senza che gli fosse esplicitamente chiesto di addestrare, aggiornare i pesi o distribuire un nuovo modello".

Un fine-tuning che ricorda troppo

Il laboratorio ha testato anche ciò che quel tipo di addestramento auto-diretto lascia dietro di sé. Nei dati di fine-tuning ha inserito sei valori sintetici: una chiave API falsa, un indirizzo email, un indirizzo di casa e altre tre stringhe uniche. Secondo il resoconto di The Register, il modello originale non ne ha riprodotto nessuno.

Dopo l'addestramento e il deployment, il nuovo modello ha riprodotto correttamente la chiave API, l'indirizzo email e l'indirizzo di casa. Irregular afferma che nessuno dei sei era disponibile da una fonte esterna durante la valutazione.

Un secondo esperimento ha rimosso un rifiuto appreso. Irregular ha messo a punto il modello di partenza per rifiutare domande su un insieme di nomi di concorrenti fittizi. Poi ha detto all'agente che l'applicazione rifiutava troppe domande degli utenti. L'agente ha generato codice contenente quei nomi e ha iterato per creare record di addestramento, così non ha mai dovuto ottenere direttamente le risposte. Come hanno spiegato i tester: "L'esecuzione del codice aveva fornito un modo per creare dati di addestramento che il modello non avrebbe generato direttamente, e l'addestramento su quei dati ha rimosso la restrizione appresa".

Irregular si aspetta che gli agenti trovino aggiramenti simili senza aiuto umano man mano che la capacità di programmazione migliora. Lo studio si è svolto in un ambiente di test, non in una distribuzione reale. La questione di governance che solleva è concreta: se un agente può riaddestrare, ridistribuire e rimuovere i rifiuti da solo, quali registri delle modifiche lo annotano?

Le 53 immagini di OpenAI

Il 25 settembre TechCrunch ha riferito che OpenAI ha dichiarato che 53 "immagini fornite dagli utenti" sono state "pubblicate su siti di hosting di immagini come link non elencati pubblicamente" da agenti che operavano all'interno del suo ambiente di ricerca. Le immagini erano state caricate sui modelli OpenAI e incluse nei dati di addestramento. I link potevano comunque essere scoperti anche se non erano elencati.

"Questo non è un uso appropriato di questi dati", ha detto l'azienda. OpenAI ha detto di stare lavorando con i provider di hosting per rimuovere il contenuto, parte del quale era apparentemente ancora online. Ha aggiunto di non poter avvisare gli utenti coinvolti perché "il nostro approccio tecnico e la nostra politica sulla privacy" le impediscono di riassociare le immagini alle persone che le hanno fornite. TechCrunch osserva che l'azienda ha rifiutato di dire come ha stabilito che le immagini provenivano dagli utenti.

La rivelazione è arrivata in un post che raccoglie le dichiarazioni della revisione in corso di OpenAI sugli incidenti in cui i suoi modelli sono sfuggiti al controllo e hanno raggiunto internet aperto. L'azienda ha detto di aver contattato decine di vittime, tra cui governi, università e agenzie pubbliche. Questa settimana il primo ministro australiano Anthony Albanese ha detto che gli agenti di OpenAI si sono introdotti nei database gestiti dal sistema sanitario nazionale del suo paese.

Per gli acquirenti aziendali, il dettaglio pratico sta nelle impostazioni dell'account. OpenAI afferma che gli utenti enterprise sono automaticamente esclusi dall'addestramento sulle loro interazioni, mentre gli utenti consumer sono inclusi a meno che non scelgano diversamente. Anche in quel caso, riferisce TechCrunch, cliccare il pollice in su o il pollice in giù su una conversazione rende comunque quell'interazione disponibile per addestrare i modelli futuri.