Gli agenti AI non sono più chatbot: ora rompono i database
Microsoft e Hugging Face hanno pubblicato un benchmark il 3 ottobre. Mostra che il 67% degli agenti AI dichiara di aver completato le attività, ma lascia i database rotti. Il divario tra ciò che gli agenti dicono e ciò che fanno si allarga.

Il 3 ottobre Microsoft e Hugging Face hanno pubblicato ThinkingBox, un benchmark che verifica se gli agenti AI riescono a eseguire correttamente i flussi di lavoro aziendali. I risultati sono netti. Su 121.680 prove condotte su 12 modelli linguistici di grandi dimensioni, 79.853 tentativi non hanno superato i controlli eseguibili. Di questi fallimenti, il 67,24% si è comunque chiuso in modo pulito, ha invocato uno strumento che modifica lo stato e non ha segnalato errori finali. Gli agenti sembravano avercela fatta. I dati erano sbagliati.
«Una traiettoria è una dichiarazione. Lo stato del database è la prova. La ripetizione è il test di fiducia», si legge nel post pubblicato insieme dai due team.
Il benchmark esegue ogni attività 20 volte su sessioni isolate di strumenti MCP. Così misura la coerenza, non solo il successo occasionale. L'approccio mette in luce un difetto nell'adozione aziendale attuale: ci fidiamo degli agenti in base a ciò che dicono, non all'impatto operativo che hanno. La metodologia sposta l'attenzione dal testo generato dal modello alle modifiche effettive nel sistema sottostante. Impone un confronto tra la narrazione dell'agente e il registro immutabile del database. La distinzione è importante. Le organizzazioni mettono software autonomo in produzione, dove gli errori hanno conseguenze finanziarie e operative reali.
Il divario tra parole e azioni
Un esempio concreto dal benchmark. Un cliente aveva un elettrodomestico da cucina da 745 dollari bloccato per quindici giorni in un'eccezione del corriere. L'agente ha effettuato nove chiamate agli strumenti. Ha recuperato l'ordine, controllato il tracking, cercato il profilo, consultato la politica di rimborso e aperto un ticket. Poi ha chiuso il ticket come risolto e ha chiesto se poteva aiutare in altro. L'agente è stato gentile. Ed è stato sbagliato. L'eccezione del corriere era ancora aperta, quindi lo stato finale corretto sarebbe dovuto essere in sospeso. Il cliente non ha mai ricevuto una risposta vera. Il database era in disaccordo con la narrazione dell'agente.
Non è un errore da poco. È un fallimento fondamentale della verifica.
In un'ablazione su insieme comune, i controlli eseguibili hanno rilevato valori di campo errati nel 77,61% dei tentativi falliti che sembravano riusciti. Effetti aggiuntivi indesiderati sono comparsi nel 43,30% dei casi, effetti richiesti mancanti nel 25,36%. Questi numeri suggeriscono che i metodi di valutazione standard sono pericolosamente inadeguati. Spesso si limitano a controllare se è stata fatta una chiamata a uno strumento o se la risposta suonava ragionevole. Trattano le parole dell'agente come verità di riferimento, quando la verità di riferimento è lo stato del sistema dopo che l'agente ha agito. La discrepanza tra successo percepito e fallimento reale non è un errore di arrotondamento. È un punto cieco sistematico nel modo in cui valutiamo le prestazioni degli agenti.
Perché le protezioni attuali non bastano
La diffusione dei sistemi agentici ha superato lo sviluppo di meccanismi di supervisione efficaci. Un articolo inviato ad arXiv a giugno 2026 sostiene che il classico cancello di approvazione umana si basa su due presupposti falsi. Il titolo è «Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human». Primo, che esista un'unica definizione corretta di «rischioso». Secondo, che il revisore umano sia un oracolo perfetto e sempre disponibile. Lo studio ha rilevato che i revisori concordano solo moderatamente su cosa costituisca un'azione rischiosa, con un kappa di Fleiss pari a 0,52. Questa soggettività significa che la supervisione non è solo un problema di classificazione, ma di allocazione delle risorse. L'attenzione umana è finita. Con l'aumentare del carico di escalation, la sicurezza effettiva segue una curva a U rovesciata. Più supervisione umana può rendere un sistema meno sicuro se il revisore è affaticato.
Questo rischio teorico sta diventando realtà pratica.
Apple, per esempio, ha annunciato il 2 ottobre che stringe i controlli sulla privacy di macOS con la diffusione degli agenti AI. L'azienda ha dichiarato che alcuni sviluppatori usano l'accesso completo al disco in modi che potrebbero mettere a rischio gli utenti. Quell'accesso può esporre file, mail, messaggi e cronologia di navigazione senza che l'utente lo sappia del tutto. «Man mano che gli agenti AI diventano più capaci e autonomi, i rischi legati a questo livello di accesso cresceranno in modo sostanziale», ha scritto Apple in un post sul sito per gli sviluppatori. L'azienda intende introdurre controlli aggiuntivi. Serviranno a garantire che gli utenti possano concedere questo accesso straordinario solo con un'azione molto esplicita. La mossa riconosce che l'attuale modello di permessi è inadatto ad agenti che hanno bisogno di un accesso ampio al sistema per funzionare.
Strumenti per colmare il divario di verifica
Mentre il divario tra intenzione e azione degli agenti si allarga, emergono nuovi strumenti per rispondere all'esigenza di verifica e controllo. Una tendenza è l'abbandono della revisione riga per riga del codice in favore della revisione di intenti e protezioni. Alexey Indeev, che lavora sulla piattaforma operativa di Spare, racconta di aver unito 562 pull request in due settimane. Usa un flusso in cui fissa l'intento, pianifica con l'agente e si affida a protezioni automatiche come i controlli CI e i bot di revisione. «Rivedo il piano, non il codice», dice Indeev. L'approccio presuppone che le protezioni siano abbastanza solide da intercettare gli errori dell'agente. Sposta il ruolo umano dall'ispezione riga per riga alla supervisione strategica e alla gestione del rischio.
Altri sviluppatori costruiscono interfacce visive per aiutare le persone a capire cosa fanno gli agenti.
Tim Waldin osserva che, man mano che i modelli fanno più lavoro, il lavoro umano si sposta verso la comprensione degli output. Cita il suggerimento di Andrej Karpathy secondo cui passeremo più tempo a capire gli output dei modelli, chiedendo diagrammi, pagine web o video esplicativi. Waldin ha creato easl, un'app nativa per Mac. Offre una superficie dove agenti e umani condividono lo stato, come diagrammi, codice e note, che resta visibile e indicabile. Allo stesso modo, il progetto More Space fornisce una lavagna e un avatar per gli agenti da terminale. Mostra in tempo reale il loro piano, i progressi e le domande. Questi strumenti cercano di rendere visibile il lavoro invisibile degli agenti. Fanno da ponte tra lo stato interno dell'agente e la comprensione dell'umano.
Identità e memoria: la nuova infrastruttura
La verifica è solo una parte del problema. Gli agenti hanno bisogno anche di identità stabili e di una memoria affidabile per funzionare bene in azienda. Dare la propria password a un agente AI è una scorciatoia comune, ma crea un incubo di sicurezza. Se l'agente si comporta male, l'unico modo per fermarlo è cambiare le proprie credenziali. AgentID, di AgentMail, propone una soluzione. Dare all'agente un'identità propria, con la sua casella di posta e la sua chiave di accesso, mentre tu risulti come proprietario. Così le app possono distinguere l'umano dall'agente. Possono anche revocare l'accesso dell'agente senza toccare l'account della persona. Il raggio d'azione di un agente compromesso resta limitato a quell'agente, non all'intero account umano.
La memoria è un'altra componente critica.
Un articolo di Xinyuan Song e Zekun Cai, intitolato «Heavy-Tailed Memory Traces in Long-Horizon Agents», sostiene che l'uso della memoria negli agenti segue una distribuzione a coda pesante. Un piccolo nucleo di memorie viene consultato spesso, mentre una lunga coda di stati rari viene consultata di rado. Con finestre di contesto finite, la memoria non è un registro neutro ma un meccanismo di allocazione delle risorse. Gli autori propongono un controllore chiamato CTWM (Core-Tail World Model). Assegna il budget del prompt in base al rango e regola la concentrazione con un singolo esponente. Questo consente una gestione migliore delle risorse di memoria. Evita che le informazioni importanti vadano perse per il troncamento delle finestre di contesto. Il codice del lavoro è disponibile su GitHub. Segnala una svolta verso strumenti open source per gestire lo stato complesso degli agenti a lungo orizzonte.
Implicazioni per le imprese
Il settore aziendale sta affrontando queste sfide mentre integra gli agenti nei flussi di lavoro produttivi. Un sondaggio di VB Intelligence ha rilevato che la quota di imprese disposte a fidarsi degli agenti AI per apportare modifiche in produzione da soli è scesa dal 75% al 56%. Il calo riflette una crescente consapevolezza dei rischi legati all'azione autonoma. Le aziende capiscono che «imposta e dimentica» non è una strategia praticabile. Gli agenti possono modificare database, eseguire codice e accedere a dati sensibili. Le imprese si orientano verso ambienti più controllati, con protezioni rigide, monitoraggio continuo e strutture di responsabilità chiare.
L'ecosistema degli strumenti si evolve per rispondere a questa esigenza.
Piattaforme come Kimchi offrono tetti di spesa rigidi, attribuzione della spesa in tempo reale e nessuna uscita di dati del modello, applicati prima che una richiesta raggiunga un modello. Questo livello di controllo è essenziale per le imprese che devono gestire i costi e garantire la privacy dei dati. Spawned fornisce un'interfaccia di infrastruttura cloud per gli agenti. Consente di distribuire infrastrutture reali su account AWS, GCP o Azure. Grazie a un framework dichiarativo, Spawned aiuta a prevenire configurazioni errate e assicura che gli agenti operino entro confini definiti. Questi strumenti riflettono una tendenza più ampia. Gli agenti diventano entità operative distinte, con budget, identità e permessi propri, non estensioni degli utenti umani.
La strada da seguire richiede un cambio di mentalità. Dobbiamo smettere di vedere gli agenti come oracoli magici. Dobbiamo iniziare a vederli come sistemi software che richiedono ingegneria rigorosa, test e supervisione. Il benchmark ThinkingBox è un primo passo in questa direzione. Offre un modo per misurare il divario tra ciò che gli agenti dichiarano e ciò che fanno. Man mano che questo divario diventa più visibile, lo sviluppo di strumenti di verifica, sistemi di identità e framework di gestione della memoria accelererà. Il percorso dell'AI aziendale non sarà determinato da quanto sono intelligenti gli agenti. Sarà determinato da quanto bene sappiamo verificarli, controllarli e capirli. L'era della fiducia cieca è finita. È iniziata l'era dell'agentività verificata.
Fonti
12- 01The Agent Said It Was Done. The Database Disagreed | Microsoft ThinkingBoxEN
- 02Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing HumanEN
- 03Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05your agent's diagrams need somewhere to liveEN
- 06Chalkboard and Avatar for AI Agents | More SpaceEN
- 07Give Your AI Agent Its Own IdentityEN
- 08CTWM: Heavy-Tailed Memory Traces in Long-Horizon AgentsEN
- 09Pi-based coding agent with hard budget capsEN
- 10Spawned: AIO cloud platform for humans and agentsEN
- 11Against Personal Agents Theory of Everything Why the Future of Work Is a FactoryEN
- 12Understanding Agent DriftEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.