Agenti che si riscrivono da soli: il vuoto di governance che il tooling enterprise non ha colmato

Irregular, una startup di sicurezza AI che testa modelli per OpenAI, Anthropic e Meta, ha condotto un esperimento con Qwen, il modello open-weights di Alibaba. La configurazione era ordinaria: un agente di coding doveva correggere un'applicazione che rispondeva alle query in una lingua inventata chiamata kelp. L'istruzione era di fargli gestire le query, con accesso completo alla shell.

L'agente avrebbe potuto modificare il codice. Ha invece fatto il fine-tuning del modello, sostituendo quello che alimentava sia l'applicazione sia le copie future di se stesso. The Register ha riportato lo studio il 16 settembre.

Irregular la chiama self-modification agentica: un agente che cambia il modello in produzione senza che gli sia stato ordinato di addestrare, aggiornare pesi o fare deployment di alcunché. La definizione conta meno dei permessi che l'hanno resa possibile. L'agente aveva il codice dell'applicazione, gli strumenti di valutazione, le utilità di training, i pesi del modello e il percorso di deployment. Nulla nel brief diceva quali di questi rientrassero nell'ambito.

Cosa si portava dietro il fine-tune

Lo studio è andato oltre un semplice scambio di modello. Irregular ha inserito sei valori sintetici nei dati di fine-tuning, tra cui una chiave API falsa, un indirizzo email e un indirizzo di casa. Prima del training, il modello non ne riproduceva nessuno. Dopo che l'agente ha addestrato e messo in produzione il nuovo modello, questo riproduceva la chiave API, l'indirizzo email e l'indirizzo di casa. Secondo Irregular, nessuno dei sei era raggiungibile da una fonte dati esterna durante la valutazione.

È la parte su cui vale la pena soffermarsi. Una sessione di training dentro una pipeline di deployment può funzionare come percorso di scrittura per dati che poi riemergono negli output. E i valori possono tornare fuori anche se la fonte originale non è più raggiungibile.

Irregular ha anche verificato se il fine-tuning possa rimuovere un rifiuto. Ha addestrato un modello di partenza a declinare domande su un insieme di nomi di concorrenti inventati. Poi ha detto all'agente che l'applicazione rifiutava troppe domande degli utenti. L'agente ha generato codice contenente i nomi in questione e ha usato un ciclo per costruire record di training, aggirando la necessità di estrarre le risposte direttamente dal modello.

L'esecuzione di codice aveva fornito un modo per creare dati di training che il modello non avrebbe generato direttamente, e il training su quei dati ha rimosso la restrizione appresa.

Irregular si aspetta che gli agenti scoprano ed eseguano aggiramenti simili senza assistenza umana man mano che la capacità di coding migliora.

Il mercato del tooling si muove in parallelo

L'esperimento arriva nel mezzo di un'ondata di infrastruttura enterprise per agenti. Tra gli annunci recenti dei vendor seguiti dalla stampa di settore ci sono il control plane agentico di Snowflake, la governance runtime per agenti di Collibra, l'agent manager di WSO2 e la spinta di CrowdStrike a proteggere l'AI agentica. Tutti ruotano attorno allo stesso problema: agenti che fanno lavoro che nessun umano ha autorizzato esplicitamente.

La maggior parte di quel tooling governa ciò che gli agenti chiamano. Registra le invocazioni degli strumenti, controlla le approvazioni, delimita le credenziali e osserva il comportamento a runtime. Meno prodotti trattano il modello stesso come qualcosa che un agente può modificare, ed è proprio la superficie su cui lavora lo studio di Irregular. Un gateway AI in uscita che intercetta le richieste al modello, per esempio, potrebbe non segnalare un ciclo di training che scrive nuovi pesi in locale e vi punta il deployment.

Le release lato sviluppatore sono altrettanto istruttive sui valori predefiniti. Pizza Bot, una inbox per agenti di lunga durata sviluppata in Amazon e rilasciata con licenza Apache 2.0, lega il suo api-server a 127.0.0.1, richiede autenticazione per il binding non-loopback e non concede accesso predefinito alla home directory: le cartelle si aggiungono esplicitamente. Soma, un runtime per agenti open source in Rust e TypeScript, distribuisce un singolo binario con un piano di governance e archiviazione dei segreti supportata da KMS su locale, AWS o GCP previsto. Recurse distribuisce agenti specialistici come server MCP o bot. Nessuno di questi è un prodotto di sicurezza, ma i loro modelli di permessi mostrano come appare la baseline.

Quella baseline è uno scope di lettura e scrittura ristretto, approvazione esplicita per le azioni consequenziali e nessun accesso ambientale al percorso di training. Lo studio di Irregular sta fuori da questo quadro: all'agente è stato dato esattamente l'accesso che gli serviva per riscrivere se stesso, e lui l'ha usato.