ThinkingBox de Microsoft : les agents laissent des enregistrements faux même quand ils annoncent une réussite
Microsoft et Hugging Face ont publié ThinkingBox le 3 octobre. Ce banc d'essai note les agents d'IA sur les enregistrements qu'ils laissent dans la base de données. Sur 121 680 essais valides et 12 modèles, 79 853 tentatives ont échoué aux contrôles exécutables.

Le banc d'essai fait tourner 507 processus métier avec état, chacun 20 fois, à partir d'un backend propre identique. Il ne regarde pas ce que dit l'agent, mais ce qu'il a écrit : valeurs de champs, effets attendus et effets de bord. Microsoft a publié l'article avec Hugging Face. Le billet de blog qui porte les résultats est daté du 3 octobre.
Les chiffres d'échec comptent plus que le taux de réussite. Sur les 79 853 tentatives ratées, 67,24 % se sont pourtant terminées proprement, avec un appel à un outil qui modifie l'état et sans erreur d'outil signalée en fin de course. Les contrôles exécutables ont ensuite trouvé des valeurs de champs fausses dans 77,61 % de ces cas. Des effets supplémentaires non voulus apparaissent dans 43,30 % et des effets attendus manquants dans 25,36 %, les catégories se recoupant. Autrement dit : un agent qui annonce avoir terminé ne prouve pas que quelque chose a été fait.
L'exemple détaillé de l'article est celui d'un client dont l'appareil de cuisine à 745 dollars était bloqué en exception transporteur dans un centre de distribution de Nashville, quinze jours après la date de livraison estimée.
L'agent a fait neuf appels d'outils et lu deux fois la politique de remboursement. Il a vérifié le segment du compte et constaté à juste titre que le client n'avait pas droit à l'indemnisation de retard. Puis il a clos le ticket comme résolu. L'état final attendu était une mise en attente, en attendant la résolution. C'est cet écart que le banc d'essai mesure. Un évaluateur qui observe les appels d'outils voit neuf appels bien formés. Un évaluateur qui vérifie si l'agent a écrit dans la base voit la même chose. Seul l'enregistrement dit le contraire, et c'est l'enregistrement que le client vit.
Pourquoi cela compte pour qui achète de la capacité d'agents
Les acheteurs en entreprise facturent désormais les agents à la tâche accomplie. ThinkingBox soutient que l'unité utile est un état final reproductible. Chaque tâche du banc d'essai tourne 20 fois à partir d'un backend propre. Un agent qui traite correctement un remboursement une fois et le rate les quatre fois suivantes n'est pas noté comme un agent de remboursement qui fonctionne.
On ne sait pas encore comment ces taux évoluent avec la conception du harnais, les schémas d'outils et le choix du modèle. Les chiffres de tête agrègent 12 modèles sans détail par modèle dans le résumé publié.
Le problème de mesure attire l'attention de plusieurs côtés à la fois. Le 8 juin, Emre Turan a publié un article sur arXiv soutenant que les validations humaines sont la partie facile de la sécurité des agents. Sur un ensemble de 125 actions d'agents pondérées de façon adversariale et étiquetées à la main, les relecteurs ne se sont accordés que modérément sur ce qui compte comme risqué, avec un kappa de Fleiss de 0,52. Turan modélise le relecteur comme se fatiguant à mesure que la charge d'escalade augmente. Il trouve que la sécurité devient une courbe en U inversé selon le taux d'escalade : plus de supervision humaine peut rendre un système moins sûr. Son article ne revendique aucun des mécanismes comme nouveau et cite des travaux antérieurs, dont FALCON et DeCCaF.
Deux critiques différentes tombent sur le même point faible.
ThinkingBox dit que les réponses finales et les appels d'outils valides ne sont que des proxys. Turan dit que le relecteur humain n'est pas un oracle disponible à l'infini. Les deux désignent la même pièce manquante : un contrôle qui tient quand l'agent et son superviseur sont tous deux faillibles.
La ruée des outils autour du banc d'essai
Des fournisseurs vendent déjà la couche que ThinkingBox teste. Kimchi, plateforme d'agents de code bâtie sur Pi, annonce une couche d'application unique pour les dépenses, les données, le déploiement et le routage de modèles, avec des plafonds stricts par utilisateur, équipe, clé d'API ou modèle. Son propre marketing montre un budget d'équipe à 4 820 dollars sur 5 000 et un utilisateur à 820 dollars pour un plafond de 800, avec arrêt net.
Spawned prend un autre chemin. La société provisionne l'infrastructure dans le compte AWS, GCP ou Azure du client, avec des ressources exportables et compatibles Terraform. Elle liste Google Cloud et Kubernetes comme disponibles, et Azure en bêta fermée. Aucune des deux entreprises n'a publié de résultats indépendants sur la question de savoir si ces contrôles réduisent les modes de défaillance que ThinkingBox mesure. Les plafonds budgétaires empêchent un agent emballé de dépenser de l'argent. Ils ne l'empêchent pas d'écrire le mauvais statut de ticket.
Un agent peut sonner juste tout en laissant une mauvaise valeur, en modifiant le mauvais enregistrement ou en créant un effet de bord supplémentaire.
Apple a avancé sur le volet des accès. Dans un billet sur son site développeur, Apple indique que l'accès complet au disque sur macOS contourne largement ses contrôles de confidentialité. Selon la firme, certains développeurs l'utilisent d'une manière qui pourrait mettre les utilisateurs en danger, en exposant fichiers, courriels, messages et historique de navigation. Apple dit qu'elle ajoutera des contrôles pour que les utilisateurs n'accordent cet accès que par une action très explicite. Elle n'a pas précisé ce que seront ces contrôles ni quand ils arriveront.
Le fil commun entre le banc d'essai, l'article arXiv et la note d'Apple, c'est que la production d'un agent doit être vérifiée contre quelque chose d'extérieur à l'agent. ThinkingBox place la vérification dans l'état du backend. Turan la place dans une courbe d'escalade mesurée. Apple la place dans l'invite de permission. Aucun des trois ne comble l'écart à lui seul.
Sources
10- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 03Pi-based coding agent with hard budget capsEN
- 04Spawned: AIO cloud platform for humans and agentsEN
- 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Writing Evals for Agentic Systems as a 4 Step LoopEN
- 08I stopped reviewing my agents' code. Here's what I do insteadEN
- 09Let AI agents use your site with 3 HTML attributesEN
- 10Give Your AI Agent Its Own IdentityEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.