Microsoft et Hugging Face mesurent la fiabilité des agents à 79 853 contrôles échoués
Microsoft et Hugging Face ont publié ThinkingBox le 3 octobre. Le benchmark juge les agents IA sur les enregistrements qu'ils laissent dans la base de données, pas sur les réponses qu'ils rédigent. Sur 507 flux de travail métier, 79 853 des 121 680 essais valides ont échoué aux contrôles exécutables.

Microsoft et Hugging Face ont construit le benchmark ensemble, comme l'explique un billet de blog sur Hugging Face daté du 3 octobre. Chacune des 507 tâches à état est exécutée 20 fois sur un backend propre, avec 12 modèles LLM. Le principe est simple : une réponse terminée est une affirmation, la base de données est la preuve.
L'intérêt dépend de la position de chacun. Les équipes qui font tourner des agents sur des systèmes de facturation, de tickets ou de stocks y trouvent un argument. Les réponses finales et les appels d'outils valides ne sont que des proxys, écrit le billet, et c'est l'état final qu'il faut tester. Les acheteurs de plateformes d'agents doivent s'attendre à ce que les fournisseurs soient interrogés sur la reproductibilité, pas seulement sur la qualité des démos. Ni le billet ni les auteurs ne précisent lequel des 12 modèles a échoué le plus souvent, ni comment les résultats se transposent à un produit commercial.
Le chiffre principal est brutal. Une ablation sur un ensemble commun a couvert 121 680 essais valides sur 12 modèles LLM. Sur ce total, 79 853 tentatives ont échoué aux contrôles exécutables.
Des fins propres, des enregistrements faux
Parmi ces échecs, 67,24 % se sont pourtant terminés proprement, avec un appel à un outil modifiant l'état et sans erreur d'outil finale signalée, selon la note de Microsoft et Hugging Face. Les contrôles exécutables ont relevé des valeurs de champ erronées dans 77,61 % des cas, des effets supplémentaires non voulus dans 43,30 % et des effets requis manquants dans 25,36 %, et ces constats se recoupent. Les auteurs détaillent un cas de vente au détail adapté d'une tâche du benchmark, sandbox_external_retail_group1.py:test_case_ST003_006. Un agent traite en neuf appels d'outils l'appareil de cuisine à 745 $ d'un client bloqué et lit correctement la politique de remboursement. Il clôt ensuite le ticket comme résolu alors que l'état final requis était la mise en attente. Un contrôle de champ échoue.
Le benchmark est publié pour que d'autres l'exécutent. Il passe par OpenEnv, et le billet indique que les lecteurs peuvent reproduire le cas eux-mêmes.
ThinkingBox n'est pas la seule tentative récente pour détacher l'évaluation des agents de la qualité conversationnelle. Un texte de praticien de Sarthak Gaud décrit une boucle d'évaluation en quatre étapes. Figer un instantané de chaque exécution d'agent, faire marquer chaque étape comme correcte ou incorrecte par un expert métier, compiler les annotations en jeu de données, et traiter les contrôles de code comme première ligne avant de faire appel à un juge. Gaud suggère de commencer avec une vingtaine d'exécutions. C'est peu à côté de 507 flux de travail lancés 20 fois chacun, mais le principe est le même : stocker ce qui s'est passé, puis le vérifier.
La supervision humaine a aussi ses limites
L'autre moitié du problème, c'est l'humain dans la boucle. Un article d'Emre Turan, publié sur arXiv le 8 juin, soutient que les points de validation sont la partie facile. Juger quelles actions arrêter est la partie difficile. Sur un ensemble de 125 actions d'agent pondérées de façon adverse et étiquetées à la main, les relecteurs ne se sont accordés que modérément sur ce qui comptait comme risqué, avec un kappa de Fleiss de 0,52. Si l'on modélise le relecteur comme se fatiguant sous la charge d'escalade, la sécurité effective suit une courbe en U inversé selon le taux d'escalade : plus de supervision humaine peut rendre un système moins sûr. L'article présente le U inversé et une modélisation d'attaque par inondation comme des résultats qui justifient une étude sur des humains.
"Une trajectoire est une affirmation. L'état de la base de données est la preuve. La répétition est le test de confiance."
Cette phrase, tirée du billet de Microsoft et Hugging Face, résume le basculement. La reproductibilité est désormais le test, et une seule bonne exécution ne prouve pas grand-chose.
Certaines équipes se réorganisent déjà autour de cette hypothèse. Alexey Indeev écrivait le 4 octobre qu'il avait fusionné 562 pull requests en deux semaines sans relire chaque ligne. Il s'est appuyé sur les tests, la CI et des bots de revue qu'un agent ne peut pas contourner. Son propre avertissement : le code produit par IA est non déterministe, et le code humain aussi.
D'autres pointent une autre pièce mobile. Un billet sur la dérive des agents publié le 3 octobre demande pourquoi le comportement d'un agent change alors que personne n'a touché au prompt, au code ni au modèle. Sa réponse : les modèles, les harnais, les outils et les données forment tous un système de systèmes, et n'importe lequel peut bouger. Le billet cite les recommandations du NIST sur la surveillance après déploiement pour l'IA générative, ainsi que les préconisations de Microsoft sur le cycle de vie, qui traitent les modèles de fondation comme des dépendances versionnées.
Les fournisseurs d'outils répondent à différents niveaux. Apple a indiqué dans un billet développeur relayé par 9to5Mac le 2 octobre qu'il ajoutera des contrôles pour que l'octroi de l'accès complet au disque exige une action très explicite de l'utilisateur. AgentMail, dans un billet du 4 octobre, plaide pour que les agents disposent de leur propre boîte de réception et de leur propre clé de connexion plutôt que d'emprunter le mot de passe d'une personne. Un agent qui se comporte mal peut ainsi être coupé sans bloquer son propriétaire. Kimchi, lancé le 4 octobre, vend une couche d'application qui arrête les dépenses d'un agent à des limites par utilisateur, par équipe ou par clé.
Le fil commun, c'est la mesure. ThinkingBox rapporte trois chiffres par tâche, et le billet ne dit pas comment les 12 modèles ont été choisis ni à quoi ressemblent les taux de réussite par modèle.
Pour qui met des agents en production sur des enregistrements métier, la lecture pratique est directe. Vérifiez la base de données, pas la transcription, et exécutez la tâche plus d'une fois.
Sources
8- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Writing Evals for Agentic Systems as a 4 Step LoopEN
- 03Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 06Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 07Give Your AI Agent Its Own IdentityEN
- 08Pi-based coding agent with hard budget capsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.