Microsoft e Hugging Face: gli agenti affidabili solo nel 35% dei compiti aziendali
Un benchmark condotto da Microsoft e Hugging Face su 507 flussi di lavoro aziendali con stato ha rilevato che gli agenti hanno fallito i controlli eseguibili in 79.853 delle 121.680 prove valide. Di questi fallimenti, il 67,24% si è comunque chiuso con una risposta pulita e nessun errore di tool.

Microsoft e Hugging Face hanno pubblicato ThinkingBox il 3 ottobre. Il benchmark valuta gli agenti AI sui record che lasciano in un database, non sulle frasi che restituiscono. Il numero principale è netto. Su un'ablazione a insieme comune di 121.680 prove valide eseguite su 12 modelli LLM, 79.853 tentativi hanno fallito i controlli eseguibili. Il lavoro è uscito tramite Hugging Face, con il paper allegato.
Per chi compra o gestisce agenti cambia l'unità di prova. Una risposta finale ben confezionata e una chiamata a tool ben formata sono sostituti, sostengono gli autori, e deboli. Un agente può sembrare corretto mentre scrive lo stato sbagliato di un ticket, salta un effetto collaterale obbligatorio o ne crea uno in più. Per gli acquirenti aziendali questo significa che i test di accettazione costruiti sulle trascrizioni promuoveranno sistemi che corrompono i record in silenzio. Né Microsoft né Hugging Face hanno detto come il benchmark entrerà nei criteri di rilascio dei prodotti. I 507 flussi di lavoro sono un insieme fisso, non un censimento dei compiti in produzione.
Una risposta pulita non è uno stato finale pulito
L'esempio iniziale del benchmark è un elettrodomestico da cucina da 745 dollari fermo da quindici giorni oltre la stima di consegna in un centro di distribuzione di Nashville. L'agente effettua nove chiamate a tool. Legge correttamente la politica di rimborso e stabilisce che il cliente non ha diritto al risarcimento per il ritardo. Poi chiude il ticket come risolto. L'eccezione del corriere è ancora aperta. Lo stato finale richiesto era in attesa, in sospeso fino alla risoluzione. È il database a contraddirlo.
La ripartizione dei fallimenti è il punto scomodo per i team che già usano agenti. Dei 79.853 tentativi falliti, il 67,24% si è comunque chiuso in modo pulito, ha invocato un tool che modifica lo stato e non ha riportato errori finali del tool. I controlli eseguibili hanno trovato valori di campo errati nel 77,61% di quei casi, effetti aggiuntivi indesiderati nel 43,30% ed effetti obbligatori mancanti nel 25,36%. I risultati si sovrappongono e il paper lo dice. Ogni compito viene eseguito 20 volte da un backend pulito identico. Un agente che gestisce un rimborso una volta e sbaglia i quattro successivi non è un agente per i rimborsi.
Una traiettoria è un'affermazione. Lo stato del database è la prova. La ripetizione è il test di fiducia.
Gli autori ringraziano anche contributori esterni, tra cui Tommy Guy di Enderis AI, in precedenza a Microsoft, e Sergio Paniego di Hugging Face, insieme agli ex tirocinanti Zhuochun Li, Ali Keramati e Youngmin Ko. Il paper è disponibile insieme al blog. Il compito di esempio è eseguibile come sandbox_external_retail_group1.py:test_case_ST003_006, dove il controllo fallito riguarda un singolo campo.
Apple interviene sul permesso che gli agenti chiedono
Separatamente, il 2 ottobre Apple ha annunciato che aggiungerà a macOS dei controlli su Accesso completo al disco, il permesso che secondo l'azienda esiste perché le app di backup possano funzionare. In un post sul sito per gli sviluppatori, Apple ha scritto che "alcuni sviluppatori usano Accesso completo al disco in modi che potrebbero mettere a rischio gli utenti, esponendo tutto ciò che è presente sui loro sistemi, inclusi file, mail, messaggi e persino la cronologia di navigazione, senza piena consapevolezza e comprensione da parte degli utenti". 9to5Mac ha riportato la novità lo stesso giorno.
Apple non ha dato dettagli su come saranno fatti i nuovi controlli né su quando arriveranno. Ha però collegato la mossa direttamente agli agenti: "Man mano che gli agenti AI diventano sempre più capaci e autonomi, i rischi legati a questo livello di accesso cresceranno in modo sostanziale". 9to5Mac cita Meta Muse e Dots di OpenAI come agenti sempre attivi che richiedono ampio accesso ai dati personali. Per le flotte Mac aziendali la domanda pratica è se il prompt aggiuntivo romperà le configurazioni scriptate. Apple non lo ha detto.
L'identità degli agenti attira attenzione anche all'altro capo dello stack. La proposta AgentID di AgentMail, pubblicata il 4 ottobre, sostiene che dare a un agente il proprio login significa che ogni app registra le sue azioni sotto il tuo nome. L'unico modo per interromperlo è cambiare la password. La sua alternativa assegna all'agente un proprio indirizzo di posta come identificatore stabile, con la persona registrata come proprietaria. Il post è materiale commerciale e le dichiarazioni sulla sicurezza sono dell'azienda. La forma del problema è abbastanza reale perché Replit abbia rilasciato il tracciamento dell'identità per singolo agente, secondo un titolo del 27 ottobre sulla stampa di settore.
La supervisione ha un costo e un limite
Il cancello di approvazione umana su cui si affidano la maggior parte dei team ha una sua aritmetica. Un paper di Emre Turan, inviato ad arXiv l'8 giugno, ha etichettato 125 azioni di agenti ponderate in modo avversariale. Ha rilevato che i revisori concordano solo moderatamente su quali siano rischiose, con un kappa di Fleiss di 0,52. Non esiste un'unica etichetta corretta su cui addestrare. Peggio, quando il revisore è modellato come affaticato all'aumentare del volume di escalation, la sicurezza effettiva segue una U rovesciata: escalare di più può rendere il sistema meno sicuro. La guardia ottimale per la sicurezza escala sotto l'escalation totale, che è anche l'impostazione che una politica consapevole del carico può usare per resistere a un attacco di flooding. L'inquadramento del paper è che la supervisione è un problema di allocazione delle risorse. Afferma che la U rovesciata e il risultato sul flooding sono esiti di modellazione che motivano uno studio umano.
La nota di Sarthak Gaud sulle valutazioni, pubblicata il 4 ottobre, fa un punto compatibile dal lato della costruzione. I sistemi non deterministici non possono essere valutati rispetto a un unico output atteso fisso. Così mette al primo posto i controlli in codice, come verificare se il database è finito nello stato giusto o se è stato chiamato il tool giusto. Introduce un giudice solo per ciò che il codice non può controllare. Avverte anche che le esecuzioni degli agenti vanno congelate e versionate, comprese le risposte dei tool e di MCP, altrimenti le vecchie esecuzioni non si possono replicare. È la stessa lezione di ThinkingBox da un'altra direzione: il record è il test.
La deriva arriva senza un deploy
C'è una modalità di fallimento più silenziosa che nessuna singola esecuzione cattura. Il 3 ottobre sdarchitect.blog ha pubblicato la quarta parte di una serie sul rischio AI, chiedendosi perché il comportamento di un agente cambi quando nessuno ha cambiato l'agente. Nessun nuovo prompt, nessuna modifica al codice, nessun modello sostituito, e la pipeline di rilascio è pulita. La risposta del post è che un agente è un sistema di modelli, harness, tool, dati, altri agenti e persone. Se uno di questi si muove, l'output cambia. Cita le linee guida NIST sul monitoraggio post-distribuzione dei sistemi di AI generativa e le indicazioni di Microsoft sul ciclo di vita che trattano i modelli di base come dipendenze versionate.
Le cinque dimensioni della deriva degli agenti indicate dall'autore sono interconnesse. È questo che rende la diagnosi più difficile della lettura di un diff. L'implicazione commerciale è che la valutazione continua non è un extra gradito per i team che mettono agenti in produzione. È l'unico modo per accorgersi che la cosa approvata il mese scorso non è più quella in esecuzione ora.
Niente di tutto questo ha fermato la corsa agli strumenti. Kimchi, lanciato il 4 ottobre, vende un agente di coding governato con tetti di budget rigidi per utente, team e chiave API, oltre al monitoraggio della spesa per modello e a un livello di applicazione che interviene prima che una richiesta lasci l'ambiente. Spawned, anch'esso uscito il 4 ottobre, offre una superficie di controllo per distribuire infrastruttura nell'account AWS, GCP o Azure del cliente, con risorse versionate e compatibili con Terraform. Entrambi affrontano una lacuna reale: gli agenti che agiscono hanno bisogno di budget e confini che le persone possano verificare.
Il modello della settimana è che il livello degli strumenti matura più in fretta del livello delle prove. Benchmark come ThinkingBox danno un numero alla frequenza con cui gli agenti lasciano dietro il record sbagliato. Apple stringe il permesso che consente loro di raggiungere il disco. I fornitori di identità vogliono che gli agenti smettano di prendere in prestito i login umani. Resta da sapere se le aziende pagheranno per queste prove o continueranno a rilasciare sulla base di una risposta finale pulita.
Fonti
8- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Give Your AI Agent Its Own IdentityEN
- 04Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.