ThinkingBox di Microsoft: gli agenti lasciano record sbagliati anche quando dichiarano successo
Microsoft e Hugging Face hanno pubblicato ThinkingBox il 3 ottobre. Il benchmark valuta gli agenti AI sui record di database che lasciano dietro di sé. Su 121.680 prove valide e 12 modelli, 79.853 tentativi non hanno superato i controlli eseguibili.

Il benchmark esegue 507 flussi di lavoro aziendali con stato, ognuno 20 volte partendo da un backend pulito e identico. Ignora quello che l'agente dice e verifica quello che ha scritto: valori dei campi, effetti richiesti ed effetti collaterali. Microsoft ha pubblicato il paper insieme a Hugging Face. Il post sul blog con i risultati porta la data del 3 ottobre.
I numeri dei fallimenti contano più del tasso di successo. Dei 79.853 tentativi falliti, il 67,24% si è comunque chiuso in modo pulito, ha chiamato uno strumento che modifica lo stato e non ha riportato errori finali dello strumento. I controlli eseguibili hanno poi trovato valori dei campi errati nel 77,61% di quei casi. Effetti aggiuntivi non voluti sono emersi nel 43,30% dei casi e effetti richiesti mancanti nel 25,36%, con le categorie che si sovrappongono. In parole semplici: un agente che dice di aver finito non dimostra che qualcosa sia stato fatto.
L'esempio svolto nel paper riguarda un cliente il cui elettrodomestico da cucina da $745 era bloccato in un'eccezione del corriere in un centro di distribuzione di Nashville, quindici giorni oltre la data di consegna stimata.
L'agente ha effettuato nove chiamate agli strumenti e ha letto due volte la politica di rimborso. Ha controllato il segmento dell'account e ha correttamente rilevato che non aveva diritto al compenso per ritardo nella consegna. Poi ha chiuso il ticket come risolto. Lo stato finale richiesto era una sospensione in attesa di risoluzione. È questo il divario che il benchmark esiste per misurare. Un valutatore che guarda le chiamate agli strumenti vede nove chiamate ben formate. Un valutatore che controlla se l'agente ha scritto nel database vede anche quello. Solo il record è in disaccordo, e il record è ciò che il cliente vive.
Perché conta per chi compra capacità degli agenti
Gli acquirenti aziendali oggi pagano gli agenti in base alle attività completate. ThinkingBox sostiene che l'unità utile è uno stato finale ripetibile. Ogni attività del benchmark viene eseguita 20 volte partendo da un backend pulito. Un agente che elabora correttamente un rimborso una volta e lo rovina nelle quattro successive non viene valutato come un agente di rimborso funzionante.
Resta da capire come questi tassi cambino con il design dell'harness, gli schemi degli strumenti e la scelta del modello. Le cifre principali aggregano 12 modelli senza una ripartizione per modello nel riepilogo pubblicato.
Il problema della misurazione attira attenzione da più parti contemporaneamente. L'8 giugno Emre Turan ha pubblicato su arXiv un paper secondo cui i gate di approvazione umana sono la parte facile della sicurezza degli agenti. Su un insieme etichettato a mano di 125 azioni di agenti ponderate in modo avversariale, i revisori concordavano solo moderatamente su cosa conti come rischioso, con un kappa di Fleiss di 0,52. Turan modella il revisore come soggetto che si stanca man mano che cresce il carico di escalation. Scopre che la sicurezza diventa una U rovesciata rispetto al tasso di escalation: più supervisione umana può rendere un sistema meno sicuro. Il suo paper dichiara che nessuno dei meccanismi è nuovo e cita lavori precedenti tra cui FALCON e DeCCaF.
Due critiche diverse colpiscono lo stesso punto debole.
ThinkingBox dice che le risposte finali e le chiamate valide agli strumenti sono indicatori approssimativi. Turan dice che il revisore umano non è un oracolo disponibile all'infinito. Entrambi indicano lo stesso pezzo mancante: un controllo che regga quando sia l'agente sia il suo supervisore sono fallibili.
La corsa agli strumenti intorno al benchmark
I fornitori vendono già lo strato che ThinkingBox mette alla prova. Kimchi, una piattaforma di agenti per il coding costruita su Pi, pubblicizza un unico strato di applicazione per spesa, dati, deployment e routing dei modelli, con tetti rigidi per utente, team, chiave API o modello. Il suo stesso marketing mostra un budget di team a $4.820 su $5.000 e un utente a $820 su un tetto di $800 con blocco forzato.
Spawned segue una strada diversa. Provisiona infrastruttura nell'account AWS, GCP o Azure del cliente, con risorse esportabili e compatibili con Terraform. Indica Google Cloud e Kubernetes come disponibili e Azure come closed beta. Nessuna delle due aziende ha pubblicato risultati indipendenti su se quei controlli riducano le modalità di fallimento misurate da ThinkingBox. I tetti di budget fermano un agente che spende troppo. Non lo fermano dallo scrivere lo stato sbagliato del ticket.
Un agente può sembrare corretto mentre lascia il valore sbagliato, cambia il record sbagliato o crea un effetto collaterale in più.
Apple si è mossa sul fronte degli accessi. In un post sul sito per sviluppatori, Apple ha detto che l'Accesso completo al disco su macOS aggira in gran parte i suoi controlli sulla privacy. Ha detto che alcuni sviluppatori lo usano in modi che potrebbero mettere a rischio gli utenti, esponendo file, mail, messaggi e cronologia di navigazione. Apple ha detto che aggiungerà controlli affinché gli utenti concedano quell'accesso solo tramite un'azione molto esplicita. Non ha detto quali siano questi controlli né quando arriveranno.
Il filo comune tra il benchmark, il paper su arXiv e la nota di Apple è che l'output dell'agente va verificato rispetto a qualcosa fuori dall'agente. ThinkingBox mette il controllo nello stato del backend. Turan lo mette in una curva di escalation misurata. Apple lo mette nel prompt dei permessi. Nessuno di loro chiude il divario da solo.
Fonti
10- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 03Pi-based coding agent with hard budget capsEN
- 04Spawned: AIO cloud platform for humans and agentsEN
- 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Writing Evals for Agentic Systems as a 4 Step LoopEN
- 08I stopped reviewing my agents' code. Here's what I do insteadEN
- 09Let AI agents use your site with 3 HTML attributesEN
- 10Give Your AI Agent Its Own IdentityEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.