Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Microsoft et Hugging Face mesurent la fiabilité des agents : 35 % des tâches d'entreprise réussies

Un benchmark mené par Microsoft et Hugging Face sur 507 flux de travail métier avec état a montré que les agents échouaient aux contrôles exécutables dans 79 853 des 121 680 essais valides. Dans 67,24 % de ces échecs, la réponse finale restait propre et aucune erreur d'outil n'était signalée.

IA & modèlesAnalyseCamille RousseauPublié le: 4 octobre 20266 min de lectureSources 8
Microsoft et Hugging Face mesurent la fiabilité des agents : 35 % des tâches d'entreprise réussies

Microsoft et Hugging Face ont publié ThinkingBox le 3 octobre. Le banc d'essai note les agents d'IA sur les enregistrements qu'ils laissent dans une base de données, pas sur les phrases qu'ils renvoient. Le chiffre principal est net. Sur une ablation en ensemble commun de 121 680 essais valides menés sur 12 modèles LLM, 79 853 tentatives ont échoué aux contrôles exécutables. Le travail est diffusé via Hugging Face, avec l'article scientifique.

Ce qui change pour ceux qui achètent ou exploitent des agents, c'est l'unité de preuve. Une réponse finale soignée et un appel d'outil bien formé sont des indicateurs indirects, et faibles, soutiennent les auteurs. Un agent peut sonner juste tout en écrivant un mauvais statut de ticket, en omettant un effet de bord obligatoire ou en créant un effet supplémentaire. Pour les acheteurs en entreprise, cela signifie que des tests d'acceptation fondés sur les transcriptions valideront des systèmes qui corrompent discrètement les enregistrements. Ni Microsoft ni Hugging Face n'ont dit comment le benchmark servira au filtrage des produits. Les 507 flux de travail forment un ensemble figé, pas un recensement des tâches de production.

Une réponse propre ne vaut pas un état final propre

L'exemple d'ouverture du benchmark est un appareil de cuisine à 745 dollars bloqué quinze jours au-delà du délai de livraison annoncé dans un centre de distribution de Nashville. L'agent effectue neuf appels d'outils. Il lit correctement la politique de remboursement et établit que le client n'a pas droit à une indemnisation pour livraison tardive. Puis il clôt le ticket comme résolu. L'exception du transporteur reste ouverte. L'état final attendu était en attente, jusqu'à résolution. C'est la base de données qui contredit l'agent.

La répartition des échecs met mal à l'aise les équipes qui exploitent déjà des agents. Sur les 79 853 tentatives échouées, 67,24 % se sont tout de même terminées proprement, ont appelé un outil modifiant l'état et n'ont signalé aucune erreur d'outil finale. Les contrôles exécutables ont trouvé de mauvaises valeurs de champ dans 77,61 % de ces cas, des effets supplémentaires non voulus dans 43,30 % et des effets obligatoires manquants dans 25,36 %. Ces constats se recoupent, et l'article le précise. Chaque tâche est exécutée 20 fois depuis un backend propre identique. Un agent qui traite un remboursement une fois et rate les quatre suivants n'est pas un agent de remboursement.

Une trajectoire est une affirmation. L'état de la base de données est la preuve. La répétition est le test de confiance.

Les auteurs créditent aussi des contributeurs extérieurs, dont Tommy Guy d'Enderis AI, auparavant chez Microsoft, et Sergio Paniego de Hugging Face, aux côtés d'anciens stagiaires, Zhuochun Li, Ali Keramati et Youngmin Ko. L'article est disponible avec le blog. La tâche d'exemple est exécutable sous sandbox_external_retail_group1.py:test_case_ST003_006, où le contrôle qui échoue porte sur un seul champ.

Apple intervient sur la permission que réclament les agents

Séparément, Apple a annoncé le 2 octobre qu'il ajouterait des contrôles à macOS autour de l'accès complet au disque, la permission qui, selon lui, existe pour que les applications de sauvegarde fonctionnent. Dans un billet sur son site développeur, Apple écrit que « certains développeurs utilisent l'accès complet au disque d'une manière qui pourrait mettre les utilisateurs en danger, en exposant tout ce qui se trouve sur leurs systèmes, y compris les fichiers, le courrier, les messages et même l'historique de navigation, sans que les utilisateurs le sachent et le comprennent pleinement. » 9to5Mac a rapporté le changement le jour même.

Apple n'a donné aucun détail sur la forme des nouveaux contrôles ni sur leur date de disponibilité. Il a en revanche relié directement la mesure aux agents : « À mesure que les agents d'IA deviennent plus capables et plus autonomes, les risques liés à ce niveau d'accès augmenteront sensiblement. » 9to5Mac cite Meta Muse et Dots d'OpenAI parmi les agents toujours actifs qui demandent un large accès aux données personnelles. Pour les parcs de Mac en entreprise, la question pratique est de savoir si l'invite supplémentaire casse les installations scriptées. Apple ne l'a pas dit.

L'identité des agents attire aussi l'attention à l'autre bout de la pile. L'argumentaire AgentID d'AgentMail, publié le 4 octobre, est que confier à un agent votre propre identifiant de connexion revient à ce que chaque application enregistre ses actions sous votre nom. Le seul moyen de couper court est de changer votre mot de passe. Leur alternative donne à l'agent sa propre adresse de boîte comme identifiant stable, l'humain étant enregistré comme propriétaire. Le billet est un document commercial et les affirmations de sécurité viennent de l'entreprise elle-même. La forme du problème est assez réelle pour que Replit ait livré un suivi d'identité par agent, selon un titre de la presse spécialisée du 27 octobre.

La supervision a un coût, et une limite

La porte d'approbation humaine sur laquelle la plupart des équipes s'appuient a sa propre arithmétique. Un article d'Emre Turan, soumis à arXiv le 8 juin, a étiqueté 125 actions d'agent pondérées de façon adverse. Il constate que les relecteurs ne s'accordent que modérément sur celles qui sont risquées, avec un kappa de Fleiss de 0,52. Il n'existe pas d'étiquette unique correcte pour entraîner un modèle. Pire, lorsque le relecteur est modélisé comme se fatiguant à mesure que le volume d'escalades augmente, la sécurité effective dessine un U inversé : escalader davantage peut rendre le système moins sûr. Le garde-fou optimal en sécurité escalade en dessous de l'escalade complète, ce qui est aussi le réglage qu'une politique tenant compte de la charge peut utiliser pour résister à une attaque par inondation. La formulation des auteurs est que la supervision est un problème d'allocation de ressources. Ils précisent que le U inversé et le résultat sur l'inondation sont des conséquences de la modélisation qui motivent une étude sur des humains.

Le texte de Sarthak Gaud sur les évaluations, publié le 4 octobre, avance un point compatible du côté de la construction. On ne peut pas noter des systèmes non déterministes par rapport à une seule sortie attendue fixe. Il place donc d'abord les contrôles en code simple, comme l'état correct de la base de données à la fin ou le bon outil appelé. Il ne fait intervenir un juge que pour ce que le code ne peut pas vérifier. Il avertit aussi que les exécutions d'agents doivent être figées et versionnées, réponses des outils et du MCP comprises, sinon les anciennes exécutions ne peuvent pas être rejouées. C'est la même leçon que ThinkingBox vue sous un autre angle : l'enregistrement est le test.

La dérive arrive sans déploiement

Il existe un mode de défaillance plus discret qu'aucune exécution isolée ne capture. Le 3 octobre, sdarchitect.blog a publié le quatrième volet d'une série sur le risque lié à l'IA, en demandant pourquoi le comportement d'un agent change alors que personne n'a modifié l'agent. Pas de nouveau prompt, pas de changement de code, pas de modèle remplacé, et la chaîne de publication est propre. La réponse du billet est qu'un agent est un système de modèles, de harnais, d'outils, de données, d'autres agents et d'humains. Que l'un de ces éléments bouge et la sortie change. Il cite les recommandations du NIST sur la surveillance après déploiement des systèmes d'IA générative et les préconisations de Microsoft sur le cycle de vie, qui traitent les modèles de fondation comme des dépendances versionnées.

Les cinq dimensions de dérive des agents décrites par l'auteur sont interconnectées. C'est ce qui rend le diagnostic plus difficile que la lecture d'un diff. L'implication commerciale est que l'évaluation continue n'est pas un bonus agréable pour les équipes qui mettent des agents en production. C'est le seul moyen de remarquer que ce que vous avez approuvé le mois dernier n'est plus ce qui tourne aujourd'hui.

Rien de tout cela n'a arrêté la ruée vers les outils. Kimchi, lancé le 4 octobre, vend un agent de codage gouverné avec des plafonds budgétaires stricts par utilisateur, par équipe et par clé d'API, plus un suivi des dépenses par modèle et une couche d'application qui intervient avant qu'une requête ne quitte l'environnement. Spawned, également sorti le 4 octobre, propose une surface de contrôle pour déployer de l'infrastructure dans le compte AWS, GCP ou Azure du client, avec des ressources versionnées et compatibles Terraform. Les deux répondent à un manque réel : des agents qui agissent ont besoin de budgets et de limites que les humains peuvent auditer.

Le schéma de la semaine est que la couche outillage mûrit plus vite que la couche de preuve. Des benchmarks comme ThinkingBox chiffrent la fréquence à laquelle les agents laissent derrière eux un mauvais enregistrement. Apple resserre la permission qui leur permet d'atteindre le disque. Les fournisseurs d'identité veulent que les agents cessent d'emprunter les identifiants humains. Ce qui reste inconnu, c'est si les entreprises paieront pour cette preuve, ou continueront à livrer sur la foi d'une réponse finale propre.

Commentaires 0

Sources

8
  1. 01The Agent Said It Was Done. The Database DisagreedEN
  2. 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
  3. 03Give Your AI Agent Its Own IdentityEN
  4. 04Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
  5. 05Writing Evals for Agentic Systems as a 4 Step LoopEN
  6. 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
  7. 07Pi-based coding agent with hard budget capsEN
  8. 08Spawned: AIO cloud platform for humans and agentsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.