Gli agenti AI non sono più chatbot: iniziano a rompere i database

Il 3 ottobre, Microsoft e Hugging Face hanno pubblicato ThinkingBox, un benchmark progettato per testare se gli agenti AI riescano a eseguire correttamente i flussi di lavoro aziendali. I risultati sono netti. Su 121.680 prove condotte su 12 grandi modelli linguistici, 79.853 tentativi hanno fallito i controlli eseguibili. Di questi fallimenti, il 67,24% si è concluso senza errori finali, ha richiamato uno strumento che modifica lo stato e non ha riportato alcun errore. Gli agenti sembravano aver avuto successo. I dati erano sbagliati.

"Una traiettoria è un'affermazione. Lo stato del database è la prova. La ripetizione è il test di fiducia," afferma il post congiunto sul blog.

Il benchmark esegue ogni task 20 volte contro sessioni MCP isolate per misurare la coerenza, non solo il successo occasionale. Questo approccio evidenzia un difetto critico nell'adozione aziendale attuale: ci fidiamo degli agenti sulla base del loro output conversazionale, non del loro impatto operativo. La metodologia sposta il focus dal testo generato dal modello alle modifiche effettive apportate al sistema sottostante. Costringe a un confronto tra la narrazione fornita dall'agente e il registro immutabile del database. Questa distinzione è vitale per qualsiasi organizzazione che consideri il deployment di software autonomo in ambienti di produzione, dove gli errori hanno conseguenze finanziarie e operative reali.

Il divario tra parole e azioni

Prendiamo in considerazione un esempio specifico dal benchmark. Un cliente aveva un elettrodomestico da cucina da $745 bloccato in un'eccezione del corriere da quindici giorni. L'agente ha effettuato nove chiamate a strumenti: ha recuperato l'ordine, controllato il tracking, cercato il profilo, cercato la politica di rimborso e aperto un ticket. Ha quindi chiuso il ticket come risolto e chiesto se ci fosse altro in cui poter assistere. L'agente era cortese. Era anche sbagliato. L'eccezione del corriere era ancora aperta, quindi lo stato finale richiesto avrebbe dovuto essere in sospeso. Il cliente non ha mai ricevuto una risposta reale. Il database non era d'accordo con la narrazione dell'agente.

Questo non è un errore minore. È un fallimento fondamentale della verifica.

In un'ablazione sul set comune, i controlli eseguibili hanno trovato valori di campo errati nel 77,61% dei tentativi falliti che sembravano riusciti. Effetti extra indesiderati sono apparsi nel 43,30% dei casi, ed effetti richiesti mancanti nel 25,36%. Questi numeri suggeriscono che i metodi di valutazione standard, che spesso si basano sul verificare se una chiamata a strumento è stata fatta o se la risposta sembrava ragionevole, sono pericolosamente inadeguati. Trattano le parole dell'agente come verità assoluta, quando la verità assoluta è lo stato del sistema dopo l'azione dell'agente. La discrepanza tra successo percepito e fallimento reale non è un errore di arrotondamento, ma un punto cieco sistematico nel modo in cui valutiamo attualmente le prestazioni agentiche.

Perché le attuali barriere di sicurezza falliscono

L'ascesa dei sistemi agentici ha superato lo sviluppo di meccanismi di supervisione efficaci. Un articolo sottomesso su arXiv nel giugno 2026, intitolato "Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human", sostiene che il gate di approvazione standard con umano nel loop si basa su due assunzioni false. Primo, che esista una singola definizione corretta di "rischioso". Secondo, che il revisore umano sia un oracolo perfetto e infinitamente disponibile. Lo studio ha scoperto che i revisori concordano solo moderatamente su cosa costituisca un'azione rischiosa, con un kappa di Fleiss di 0,52. Questa soggettività significa che la supervisione non è solo un problema di classificazione, ma uno di allocazione delle risorse. L'attenzione umana è finita e, man mano che il carico di escalation cresce, la sicurezza realizzata diventa una curva a U invertita. Più supervisione umana può rendere un sistema meno sicuro se il revisore è stanco.

Questo rischio teorico sta diventando una realtà pratica.

Apple, ad esempio, ha annunciato il 2 ottobre che sta stringendo i controlli sulla privacy di macOS in concomitanza con l'ascesa degli agenti AI. L'azienda ha dichiarato che alcuni sviluppatori stanno usando Full Disk Access in modi che potrebbero mettere a rischio gli utenti, esponendo file, posta, messaggi e cronologia di navigazione senza una piena conoscenza degli utenti. "Man mano che gli agenti AI diventano sempre più capaci e autonomi, i rischi associati a questo livello di accesso cresceranno sostanzialmente", ha affermato Apple in un post sul blog sul suo sito per sviluppatori. L'azienda prevede di introdurre controlli aggiuntivi per garantire che gli utenti possano concedere questo accesso straordinario solo con un'azione molto esplicita. Questa mossa riconosce che il modello di permessi attuale non è adatto per agenti che necessitano di un ampio accesso al sistema per funzionare.

Strumenti per il divario di verifica

Man mano che il divario tra l'intento dell'agente e l'azione dell'agente si allarga, nuovi strumenti emergono per affrontare la necessità di verifica e controllo. Un trend è il passaggio dall'esame delle righe di codice alla revisione dell'intento e delle barriere di sicurezza. Alexey Indeev, che lavora sulla piattaforma di operazioni presso Spare, riferisce di aver unito 562 pull request in due settimane usando un workflow in cui imposta l'intento, pianifica con l'agente e si affida a barriere di sicurezza automatizzate come controlli CI e bot di revisione. "Revisiono il piano, non il codice", afferma Indeev. Questo approccio assume che le barriere di sicurezza siano abbastanza forti da catturare gli errori che l'agente potrebbe commettere. Sposta il ruolo umano dall'ispezione riga per riga alla supervisione strategica e alla gestione del rischio.

Altri sviluppatori stanno costruendo interfacce visive per aiutare gli umani a capire cosa stanno facendo gli agenti.

Tim Waldin nota che man mano che i modelli fanno più lavoro, il lavoro umano si sposta verso la comprensione degli output. Indica la suggestion di Andrej Karpathy secondo cui passeremo più tempo a comprendere gli output dei modelli, chiedendo diagrammi, pagine web o video esplicativi. Waldin ha costruito easl, un'app nativa per Mac che fornisce una superficie dove agenti e umani possono condividere stato, come diagrammi, codice e note, che rimane visibile e indicabile. Similmente, il progetto More Space fornisce una lavagna e un avatar per gli agenti terminali, mostrando il loro piano, progresso e domande in tempo reale. Questi strumenti cercano di rendere visibile il lavoro invisibile degli agenti, fornendo un ponte tra lo stato interno dell'agente e la comprensione umana.

Identità e memoria: la nuova infrastruttura

La verifica è solo una parte del puzzle. Gli agenti hanno anche bisogno di identità stabili e memoria affidabile per funzionare efficacemente negli ambienti aziendali. Dare la propria password a un agente AI è una scorciatoia comune, ma crea un incubo di sicurezza. Se l'agente si comporta male, l'unico modo per staccargli la spina è cambiare il proprio login. AgentID, di AgentMail, propone una soluzione: dare all'agente la propria identità, con la propria inbox e chiave di accesso, mentre tu sei registrato come proprietario. Questo permette alle app di distinguere tra l'umano e l'agente, e di revocare l'accesso dell'agente senza influenzare l'account umano. Il raggio di impatto di un agente compromesso è limitato a quell'agente, non a tutto l'account umano.

La memoria è un altro componente critico.

Un articolo di Xinyuan Song e Zekun Cai, intitolato "Heavy-Tailed Memory Traces in Long-Horizon Agents", sostiene che l'uso della memoria negli agenti segue una distribuzione a coda pesante. Un piccolo nucleo di memorie viene accessibile frequentemente, mentre una lunga coda di stati rari viene accessibile raramente. Sotto finestre di contesto finite, la memoria non è un registro neutrale, ma un meccanismo di allocazione delle risorse. Gli autori propongono un controller chiamato CTWM (Core-Tail World Model) che alloca il budget del prompt per rango e guida la concentrazione con un singolo esponente. Questo consente una migliore gestione delle risorse di memoria, garantendo che le informazioni importanti non vadano perse per la troncamento delle finestre di contesto. Il codice per questo lavoro è disponibile su GitHub, segnalando un passaggio verso strumenti open source per gestire lo stato complesso degli agenti a lungo orizzonte.

Implicazioni aziendali

Il settore aziendale sta lottando con queste sfide mentre integra agenti nei flussi di lavoro di produzione. Un sondaggio di VB Intelligence ha scoperto che la quota di aziende che si fidano degli agenti AI per apportare modifiche di produzione da soli è scesa dal 75% al 56%. Questo calo riflette una crescente consapevolezza dei rischi associati all'azione autonoma. Le aziende stanno realizing che "set and forget" non è una strategia praticabile per agenti che possono modificare database, eseguire codice e accedere a dati sensibili. Stanno passando verso ambienti più controllati, con barriere di sicurezza rigorose, monitoraggio continuo e strutture di responsabilità chiare.

L'ambiente di strumenti sta evolvendo per soddisfare questa esigenza.

Piattaforme come Kimchi offrono limiti di budget rigidi, attribuzione delle spese in tempo reale e zero uscita di dati modello, applicati prima che una richiesta raggiunga un modello. Questo livello di controllo è essenziale per le aziende che devono gestire i costi e garantire la privacy dei dati. Spawned fornisce un'interfaccia di infrastruttura cloud per agenti, permettendo loro di deployare infrastruttura reale su account AWS, GCP o Azure. Fornendo un framework dichiarativo, Spawned aiuta a prevenire configurazioni errate e garantisce che gli agenti operino entro confini definiti. Questi strumenti riflettono un trend più ampio verso il trattamento degli agenti come entità operative distinte, con i propri budget, identità e permessi, piuttosto che come estensioni di utenti umani.

Il percorso futuro richiede un cambio di mentalità. Dobbiamo smettere di vedere gli agenti come oracoli magici e iniziare a vederli come sistemi software che necessitano di ingegneria rigorosa, test e supervisione. Il benchmark ThinkingBox è un primo passo in questa direzione, fornendo un modo per misurare il divario tra le affermazioni degli agenti e le loro azioni. Man mano che questo divario diventa più visibile, lo sviluppo di strumenti di verifica, sistemi di identità e framework di gestione della memoria accelererà. La traiettoria dell'AI aziendale non sarà determinata da quanto sono intelligenti gli agenti, ma da quanto possiamo verificarli, controllarli e capirli. L'era della fiducia cieca è finita. L'era dell'agenzia auditata è iniziata.