Microsoft e Hugging Face misurano l'affidabilità degli agenti: 79.853 controlli falliti
Microsoft e Hugging Face hanno pubblicato ThinkingBox il 3 ottobre. Il benchmark valuta gli agenti AI sui record che lasciano nel database, non sulle risposte che scrivono. Su 507 flussi di lavoro aziendali, 79.853 delle 121.680 prove valide hanno fallito i controlli eseguibili.

Microsoft e Hugging Face hanno costruito il benchmark insieme, come spiega un post sul blog di Hugging Face datato 3 ottobre. Ciascuno dei 507 task con stato viene eseguito 20 volte su un backend pulito, su 12 modelli LLM. La premessa è semplice: una risposta finita è una dichiarazione, il database è la prova.
Perché conti dipende da dove si guarda. I team che usano agenti su sistemi di fatturazione, ticketing o magazzino trovano nel post un argomento preciso. Le risposte finali e le chiamate agli strumenti valide sono solo indicatori indiretti, si legge, e ciò che va testato è lo stato finale. Chi compra piattaforme per agenti deve aspettarsi che i fornitori rispondano a domande sulla ripetibilità, non solo sulla qualità delle demo. Né il post né gli autori dicono quale dei 12 modelli abbia fallito più spesso, né come i risultati si leghino a un prodotto commerciale.
Il numero principale è netto. Un'ablazione su un insieme comune ha coperto 121.680 prove valide su 12 modelli LLM. Di queste, 79.853 hanno fallito i controlli eseguibili.
Finali puliti, record sbagliati
Di quei fallimenti, il 67,24% si è comunque chiuso senza errori, ha invocato uno strumento che cambia lo stato e non ha riportato errori finali dello strumento, secondo la nota di Microsoft e Hugging Face. I controlli eseguibili hanno trovato valori di campo sbagliati nel 77,61% dei casi, effetti aggiuntivi non voluti nel 43,30% ed effetti richiesti mancanti nel 25,36%; questi risultati si sovrappongono. Gli autori raccontano un caso retail adattato da un task del benchmark, sandbox_external_retail_group1.py:test_case_ST003_006. Un agente gestisce in nove chiamate agli strumenti il caso di un elettrodomestico da cucina da 745 dollari bloccato per un cliente e legge correttamente la politica di rimborso. Poi chiude il ticket come risolto, mentre lo stato finale richiesto era in sospeso. Un controllo di campo fallisce.
Il benchmark è disponibile perché altri lo eseguano. Passa da OpenEnv, e il post dice che i lettori possono eseguire il caso da soli.
ThinkingBox non è l'unico tentativo recente di allontanare la valutazione degli agenti dalla qualità della chat. Un testo di un professionista, Sarthak Gaud, descrive un ciclo in quattro passi per le valutazioni. Congela uno snapshot di ogni esecuzione dell'agente, fai marcare a un esperto di dominio ogni passo come corretto o sbagliato, raccogli le annotazioni in un dataset e usa i controlli sul codice come prima linea prima di introdurre un giudice. Gaud suggerisce di partire da circa 20 esecuzioni. È un numero piccolo rispetto a 507 flussi di lavoro eseguiti 20 volte ciascuno, ma il principio è lo stesso: conserva quello che è successo, poi controllalo.
Anche la supervisione ha un limite
L'altra metà del problema è l'umano nel ciclo. Un articolo di Emre Turan, pubblicato su arXiv l'8 giugno, sostiene che i cancelli di approvazione sono la parte facile. Il difficile è giudicare quali azioni fermare. Su un insieme etichettato a mano di 125 azioni di agenti pesate in modo avversariale, i revisori concordavano solo moderatamente su cosa contasse come rischioso, con un kappa di Fleiss di 0,52. Se si modella il revisore come soggetto a stanchezza sotto carico di escalation, la sicurezza effettiva segue una U rovesciata rispetto al tasso di escalation: più supervisione umana può rendere un sistema meno sicuro. L'articolo definisce la U rovesciata e l'attacco di flooding risultati di modellazione che motivano uno studio sull'uomo.
"Una traiettoria è una dichiarazione. Lo stato del database è la prova. La ripetizione è il test di fiducia."
Questa frase, dal post di Microsoft e Hugging Face, riassume il cambiamento. Ora il test è la ripetibilità, e una singola esecuzione riuscita dimostra poco.
Alcuni team si stanno già riorganizzando su questa base. Alexey Indeev ha scritto il 4 ottobre di aver unito 562 pull request in due settimane senza rivedere ogni riga. Si è affidato invece a test, CI e bot di revisione che un agente non può aggirare. Il suo avvertimento: il codice AI non è deterministico, e nemmeno quello umano.
Altri indicano un altro elemento in movimento. Un post sul blog dedicato al drift degli agenti, pubblicato il 3 ottobre, chiede perché il comportamento di un agente cambi quando nessuno ha toccato il prompt, il codice o il modello. La risposta è che modelli, harness, strumenti e dati stanno tutti in un sistema di sistemi, e ognuno può muoversi. Il post cita le linee guida NIST sul monitoraggio post-distribuzione per l'AI generativa, più le indicazioni di Microsoft sul ciclo di vita che trattano i modelli di base come dipendenze versionate.
I fornitori di strumenti rispondono a livelli diversi. Apple ha detto in un post sul blog per sviluppatori riportato da 9to5Mac il 2 ottobre che aggiungerà controlli per cui concedere l'accesso completo al disco richiederà un'azione molto esplicita dell'utente. AgentMail, in un post del 4 ottobre, sostiene che gli agenti dovrebbero avere una propria casella di posta e una propria chiave di accesso invece di prendere in prestito la password di una persona. Così un agente che si comporta male può essere bloccato senza chiudere fuori il suo proprietario. Kimchi, lanciato il 4 ottobre, vende uno strato di applicazione che ferma la spesa degli agenti a limiti per utente, per team o per chiave.
Il filo comune è la misurazione. ThinkingBox riporta tre numeri per task, e il post non rivela come siano stati scelti i 12 modelli né quali siano i tassi di successo per modello.
Per chi mette agenti in produzione su record reali, la lettura pratica è diretta. Controlla il database, non la trascrizione, ed esegui il task più di una volta.
Fonti
8- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Writing Evals for Agentic Systems as a 4 Step LoopEN
- 03Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 06Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 07Give Your AI Agent Its Own IdentityEN
- 08Pi-based coding agent with hard budget capsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.