Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

ThinkingBox di Microsoft: gli agenti lasciano record sbagliati anche quando dichiarano successo

Microsoft e Hugging Face hanno pubblicato ThinkingBox il 3 ottobre. Il benchmark valuta gli agenti AI sui record di database che lasciano dietro di sé. Su 121.680 prove valide e 12 modelli, 79.853 tentativi non hanno superato i controlli eseguibili.

IA e modelliAnalisiChiara RomanoPubblicato: 4 ottobre 20264 min di letturaFonti 10
ThinkingBox di Microsoft: gli agenti lasciano record sbagliati anche quando dichiarano successo

Il benchmark esegue 507 flussi di lavoro aziendali con stato, ognuno 20 volte partendo da un backend pulito e identico. Ignora quello che l'agente dice e verifica quello che ha scritto: valori dei campi, effetti richiesti ed effetti collaterali. Microsoft ha pubblicato il paper insieme a Hugging Face. Il post sul blog con i risultati porta la data del 3 ottobre.

I numeri dei fallimenti contano più del tasso di successo. Dei 79.853 tentativi falliti, il 67,24% si è comunque chiuso in modo pulito, ha chiamato uno strumento che modifica lo stato e non ha riportato errori finali dello strumento. I controlli eseguibili hanno poi trovato valori dei campi errati nel 77,61% di quei casi. Effetti aggiuntivi non voluti sono emersi nel 43,30% dei casi e effetti richiesti mancanti nel 25,36%, con le categorie che si sovrappongono. In parole semplici: un agente che dice di aver finito non dimostra che qualcosa sia stato fatto.

L'esempio svolto nel paper riguarda un cliente il cui elettrodomestico da cucina da $745 era bloccato in un'eccezione del corriere in un centro di distribuzione di Nashville, quindici giorni oltre la data di consegna stimata.

L'agente ha effettuato nove chiamate agli strumenti e ha letto due volte la politica di rimborso. Ha controllato il segmento dell'account e ha correttamente rilevato che non aveva diritto al compenso per ritardo nella consegna. Poi ha chiuso il ticket come risolto. Lo stato finale richiesto era una sospensione in attesa di risoluzione. È questo il divario che il benchmark esiste per misurare. Un valutatore che guarda le chiamate agli strumenti vede nove chiamate ben formate. Un valutatore che controlla se l'agente ha scritto nel database vede anche quello. Solo il record è in disaccordo, e il record è ciò che il cliente vive.

Perché conta per chi compra capacità degli agenti

Gli acquirenti aziendali oggi pagano gli agenti in base alle attività completate. ThinkingBox sostiene che l'unità utile è uno stato finale ripetibile. Ogni attività del benchmark viene eseguita 20 volte partendo da un backend pulito. Un agente che elabora correttamente un rimborso una volta e lo rovina nelle quattro successive non viene valutato come un agente di rimborso funzionante.

Resta da capire come questi tassi cambino con il design dell'harness, gli schemi degli strumenti e la scelta del modello. Le cifre principali aggregano 12 modelli senza una ripartizione per modello nel riepilogo pubblicato.

Il problema della misurazione attira attenzione da più parti contemporaneamente. L'8 giugno Emre Turan ha pubblicato su arXiv un paper secondo cui i gate di approvazione umana sono la parte facile della sicurezza degli agenti. Su un insieme etichettato a mano di 125 azioni di agenti ponderate in modo avversariale, i revisori concordavano solo moderatamente su cosa conti come rischioso, con un kappa di Fleiss di 0,52. Turan modella il revisore come soggetto che si stanca man mano che cresce il carico di escalation. Scopre che la sicurezza diventa una U rovesciata rispetto al tasso di escalation: più supervisione umana può rendere un sistema meno sicuro. Il suo paper dichiara che nessuno dei meccanismi è nuovo e cita lavori precedenti tra cui FALCON e DeCCaF.

Due critiche diverse colpiscono lo stesso punto debole.

ThinkingBox dice che le risposte finali e le chiamate valide agli strumenti sono indicatori approssimativi. Turan dice che il revisore umano non è un oracolo disponibile all'infinito. Entrambi indicano lo stesso pezzo mancante: un controllo che regga quando sia l'agente sia il suo supervisore sono fallibili.

La corsa agli strumenti intorno al benchmark

I fornitori vendono già lo strato che ThinkingBox mette alla prova. Kimchi, una piattaforma di agenti per il coding costruita su Pi, pubblicizza un unico strato di applicazione per spesa, dati, deployment e routing dei modelli, con tetti rigidi per utente, team, chiave API o modello. Il suo stesso marketing mostra un budget di team a $4.820 su $5.000 e un utente a $820 su un tetto di $800 con blocco forzato.

Spawned segue una strada diversa. Provisiona infrastruttura nell'account AWS, GCP o Azure del cliente, con risorse esportabili e compatibili con Terraform. Indica Google Cloud e Kubernetes come disponibili e Azure come closed beta. Nessuna delle due aziende ha pubblicato risultati indipendenti su se quei controlli riducano le modalità di fallimento misurate da ThinkingBox. I tetti di budget fermano un agente che spende troppo. Non lo fermano dallo scrivere lo stato sbagliato del ticket.

Un agente può sembrare corretto mentre lascia il valore sbagliato, cambia il record sbagliato o crea un effetto collaterale in più.

Apple si è mossa sul fronte degli accessi. In un post sul sito per sviluppatori, Apple ha detto che l'Accesso completo al disco su macOS aggira in gran parte i suoi controlli sulla privacy. Ha detto che alcuni sviluppatori lo usano in modi che potrebbero mettere a rischio gli utenti, esponendo file, mail, messaggi e cronologia di navigazione. Apple ha detto che aggiungerà controlli affinché gli utenti concedano quell'accesso solo tramite un'azione molto esplicita. Non ha detto quali siano questi controlli né quando arriveranno.

Il filo comune tra il benchmark, il paper su arXiv e la nota di Apple è che l'output dell'agente va verificato rispetto a qualcosa fuori dall'agente. ThinkingBox mette il controllo nello stato del backend. Turan lo mette in una curva di escalation misurata. Apple lo mette nel prompt dei permessi. Nessuno di loro chiude il divario da solo.

Commenti 0

Fonti

10
  1. 01The Agent Said It Was Done. The Database DisagreedEN
  2. 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
  3. 03Pi-based coding agent with hard budget capsEN
  4. 04Spawned: AIO cloud platform for humans and agentsEN
  5. 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
  6. 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
  7. 07Writing Evals for Agentic Systems as a 4 Step LoopEN
  8. 08I stopped reviewing my agents' code. Here's what I do insteadEN
  9. 09Let AI agents use your site with 3 HTML attributesEN
  10. 10Give Your AI Agent Its Own IdentityEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.