Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les agents apprennent à se servir du web, et le web apprend à les facturer

Le 3 octobre, le développeur Marko Denic a publié un guide sur WebMCP, une expérience Chrome qui transforme un formulaire HTML ordinaire en outil appelable pour les agents IA, à l'aide de trois attributs. Ce billet arrive au milieu d'un débat plus large sur le contrôle de l'automatisation des navigateurs.

IA & modèlesAnalyseSophie LeclercPublié le: 4 octobre 20266 min de lectureSources 14
Les agents apprennent à se servir du web, et le web apprend à les facturer

Le 3 octobre, le développeur Marko Denic a publié un tutoriel sur WebMCP. C'est une expérience Chrome qui permet à une page d'exposer ses fonctionnalités aux agents IA sous forme d'outils nommés, avec des entrées typées. L'agent n'a plus à deviner son chemin dans une interface rendue. D'après Denic, un simple formulaire de recherche demande trois attributs : toolname, tooldescription et toolautosubmit.

Son constat est direct. Un agent qui pilote un site normal « ressemble à quelqu'un qui travaille à la souris avec des moufles de four. » Il lit l'écran et devine quelle case est le champ de recherche. Il devine quel bouton valide, puis relit l'écran pour vérifier. Chaque supposition est une occasion de se tromper.

WebMCP reste un essai, pas un standard

Denic reste prudent sur les limites. WebMCP est une expérience dans Chrome, et publier les attributs ne suffit pas. Sans jeton d'essai d'origine, document.modelContext n'existe que pour les utilisateurs qui ont activé un indicateur. L'essai qu'il cite tourne sur Chrome 149. Les navigateurs qui ne connaissent pas les attributs les ignorent, donc tous les autres reçoivent la page telle qu'elle a toujours été.

Le détail le plus intéressant est l'endroit où vit l'outil. Pour les formulaires, le navigateur déduit le schéma du balisage. Pour tout le reste, une calculatrice ou un configurateur, la page enregistre l'outil depuis JavaScript. Cela demande un nom, une description, un schéma d'entrée et une fonction d'exécution. L'exemple de Denic relie l'exécution à la même fonction que celle appelée par les curseurs, si bien qu'un humain et un agent empruntent un seul chemin de code. Il recommande aussi de laisser toolautosubmit désactivé pour tout ce qui envoie, achète ou supprime, afin que l'utilisateur confirme encore.

C'est une réponse au problème de l'automatisation des navigateurs : rendre la page lisible plutôt que rendre l'agent plus intelligent. Ce n'est pas la seule en circulation. Ce n'est pas non plus celle qui a le plus d'argent derrière elle.

Le travail se déplace vers le harnais

Le billet de Tim Waldin du 4 octobre soutient que la contrainte n'est pas la perception. C'est l'endroit où finit la production du travail d'un agent. Il cite Andrej Karpathy, qui écrivait vendredi que « nous allons passer beaucoup plus de temps à essayer de comprendre les sorties des modèles de langage. » Karpathy ajoutait que davantage de travail allait « remonter les abstractions vers la supervision et la compréhension. » Waldin reproche qu'un diagramme ou une explication HTML produite par un agent défile et disparaît dans une conversation. La représentation du système ne fait alors jamais tout à fait partie de la discussion sur ce système. Son application, easl, donne à chaque dépôt un tableau infini où se côtoient terminaux, tuiles de code, navigateurs et notes. Un clic sur une hyper-touche ajoute au prompt suivant tout ce que vous désignez.

C'est une affirmation de conception, pas un banc d'essai, et il faut la lire comme telle. Mais elle rejoint ce que rapportent des praticiens ailleurs. Alexey Indeev écrivait le 4 octobre qu'il avait fusionné 562 pull requests en deux semaines, dont quatre nuits passées en randonnée. Son flux de travail repose désormais sur un agent coordinateur qui ne fait rien directement et délègue à des sous-agents. Les tests, l'intégration continue et les robots de revue conditionnent les fusions. Il précise que les modèles ont changé récemment, Opus 5.5 en particulier. Quelques semaines plus tôt, il n'aurait pas recommandé cette approche.

Ce que disent les contrôles d'état

Le chiffre le plus concret de cette série vient de Microsoft et Hugging Face. Un billet commun publié le 3 octobre décrit ThinkingBox, un banc d'essai de 507 flux de travail métier avec état. Chacun tourne 20 fois face à différents modèles. Il évalue l'état final du backend et les effets de bord qu'un agent laisse derrière lui, pas la phrase qu'il renvoie. Dans une ablation sur un ensemble commun couvrant 121 680 essais valides sur 12 modèles, 79 853 tentatives ont échoué aux contrôles exécutables. Parmi ces échecs, 67,24 % se sont pourtant terminés proprement, avaient appelé un outil modifiant l'état et ne signalaient aucune erreur finale d'outil.

Le cas illustratif est un appareil de cuisine à 745 dollars bloqué par une exception de transporteur dans un centre de distribution de Nashville. Il avait quinze jours de retard sur sa date de livraison estimée. L'agent a fait neuf appels d'outils et lu deux fois la politique de remboursement. Il a correctement conclu que le client n'avait pas droit à une compensation pour livraison tardive. Puis il a clos le ticket comme résolu alors que l'état final attendu était en attente, et n'a jamais répondu à la question posée. Les contrôles exécutables ont trouvé des valeurs de champ erronées dans 77,61 % des échecs d'apparence propre. Ils ont trouvé des effets supplémentaires non voulus dans 43,30 % des cas et des effets requis manquants dans 25,36 %.

Une trajectoire est une affirmation. L'état de la base de données est la preuve. La répétition est le test de confiance.

Cette phrase, tirée du billet de Microsoft et Hugging Face, est ce qui s'est écrit de plus tranchant cette semaine sur l'évaluation des agents. Elle sape aussi une bonne part de la culture de la démo. Un appel d'outil bien formé n'est pas la même chose qu'un résultat correct. Une exécution correcte n'est pas la même chose qu'une exécution fiable.

Permissions et dérive

Apple a bougé du côté des permissions. Dans un billet sur son site développeur, relayé par 9to5Mac le 2 octobre, l'entreprise indique que certains développeurs utilisent l'accès complet au disque de manière risquée. Ce réglage est censé permettre aux applications de sauvegarde de fonctionner. Apple affirme que ce mauvais usage pourrait exposer « tout ce qui se trouve sur leurs systèmes, y compris les fichiers, les mails, les messages et même l'historique de navigation, sans que les utilisateurs le sachent et le comprennent pleinement. » Apple dit qu'il ajoutera des contrôles pour que l'octroi de cet accès exige « une action utilisateur très explicite. » Il relie ce changement au fait que les agents IA deviennent « de plus en plus capables et autonomes. » Il ne précise pas quels sont ces contrôles ni quand ils arriveront.

Pendant ce temps, le mode de défaillance qu'aucune boîte de dialogue de permission n'attrape, c'est la dérive. Le blog sdarchitect a publié le 3 octobre le quatrième volet d'une série sur les risques de l'IA. Il demande pourquoi le comportement d'un agent change alors que personne n'a modifié l'agent. Aucun prompt n'a été déployé, aucun code touché. Le système de gestion des changements est propre. Pourtant l'agent qui fonctionnait le mois dernier escalade désormais des décisions qu'il traitait seul. Le billet attribue cela à l'ensemble du système : modèles, harnais, outils et autres agents. Il cite les recommandations du NIST sur la surveillance après déploiement. Il soutient que si le comportement peut changer en continu, l'évaluation doit elle aussi tourner en continu.

Un article sur arXiv daté de juin, signé Emre Turan, ajoute un chiffre qui devrait faire hésiter quiconque conçoit des points de validation. Sur un ensemble de 125 actions d'agents pondérées de façon adverse et annotées à la main, les relecteurs ne se sont accordés que modérément sur ce qui compte comme risqué. Le kappa de Fleiss était de 0,52. Quand on modélise le relecteur comme se fatiguant sous la charge d'escalade, la sécurité réelle devient un U inversé en fonction du taux d'escalade. Plus de supervision humaine peut rendre un système moins sûr, et le garde-fou optimal pour la sécurité escalade en dessous de l'escalade totale.

Rien de tout cela ne rend l'automatisation des navigateurs moins utile. Cela signifie que l'ingénierie intéressante s'est éloignée du fait de faire cliquer un bouton à un agent. Les trois attributs de Denic, le tableau partagé de Waldin, la file de fusions d'Indeev et les contrôles d'état de ThinkingBox tentent tous de mettre la même chose autour du modèle. Une surface sur laquelle il peut agir, plus la preuve que l'action a bien eu lieu. Les pages et les agents continuent de débattre de qui fournit cette surface.

Commentaires 0

Sources

14
  1. 01Let AI agents use your site with 3 HTML attributesEN
  2. 02your agent's diagrams need somewhere to liveEN
  3. 03I stopped reviewing my agents' code. Here's what I do insteadEN
  4. 04The Agent Said It Was Done. The Database Disagreed.EN
  5. 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
  6. 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
  7. 07Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing HumanEN
  8. 08Automatic iPhone reboot: Forensics firm allegedly stops timeEN
  9. 09Design Systems for AI AgentsEN
  10. 10Give Your AI Agent Its Own IdentityEN
  11. 11Launching: Nautilus - Run a coding agent from your phone, merge on your PCEN
  12. 12Aura - a self-hosted AI agent with temporal graph memory, written in GoEN
  13. 13Pi-based coding agent with hard budget capsEN
  14. 14Chalkboard and Avatar for AI AgentsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.