agent-desktop de Vercel fait passer l'automatisation des agents du web au bureau

Le dernier-né des outils d'automatisation de navigateur pour agents ne touche pas à un navigateur. agent-desktop de Vercel, documenté le 3 novembre, lit l'arbre d'accessibilité d'une application de bureau et le renvoie en JSON. Chaque élément sur lequel un agent peut agir reçoit une réf. L'agent agit sur une réf, relit l'interface pour vérifier le résultat, puis recommence. L'outil est distribué en CLI et en bibliothèque C pour macOS, Windows et Linux.

La conception est volontairement étroite. Une action réussie ne prouve pas que l'interface a changé : la boucle se termine donc par une lecture. Il n'y a pas de modèle à l'intérieur, pas d'interface graphique et pas d'invite interactive. Chaque commande imprime une seule enveloppe JSON puis se termine. Et l'outil ne peut pas voir une interface qui ne publie aucun arbre d'accessibilité, puisqu'il lit des arbres au lieu de comparer des pixels.

Pourquoi l'arbre d'accessibilité compte

La même semaine, heise a diffusé un épisode de podcast soutenant que les tests frontend sont plus difficiles que les tests backend. Rendre les composants dans un vrai navigateur plutôt que dans un environnement émulé fait apparaître des défaillances que l'émulateur manque. Alexander Opalic, le développeur interrogé, rend des sélecteurs de date, des tableaux et des fenêtres modales dans une iframe avec le mode navigateur de Vitest. Il en paie le prix : environ 200 millisecondes par clic au lieu de 20. Ce compromis, la fidélité contre la vitesse, est celui que fait aussi l'outillage pour agents quand il refuse de deviner à partir de captures d'écran.

L'économie de ce choix est déjà visible ailleurs. Garry Tan, PDG de Y Combinator, a déclaré au podcast The Builders de Walter Isaacson qu'il dépense « environ peut-être 100 à 200 000 dollars par an en tokens » pour ses agents, selon TechCrunch. Il a qualifié ce coût de « privilège fou que tout le monde ne peut pas s'offrir ». Une observation bon marché et déterministe est un moyen de contenir cette facture.

Les agents ont besoin de gouvernance, pas seulement de mains

Uber a construit une passerelle MCP pour encadrer l'accès à plus de 800 serveurs et 5 000 outils d'agents, a rapporté InfoQ le 2 novembre. Ces chiffres suggèrent que l'offre d'outils n'est plus le goulot d'étranglement. Le contrôle l'est. Le dossier de MIT Technology Review du 3 novembre sur la « théorie des jeux inversée », ou conception de mécanismes, avance le même argument du côté de l'alignement. Au lieu d'inspecter ce que pense un modèle, il s'agit de concevoir des règles qui font du respect des règles le coup gagnant. L'exemple du partage du gâteau en est la version simple : une personne coupe, l'autre choisit en premier.

La qualité de la production est l'autre problème ouvert. Une enquête publiée le 2 novembre par l'unité de contenu personnalisé de MIT Technology Review a trouvé que 48 pour cent des analyses générées par des agents d'analytique mènent à des actions qui améliorent l'activité, contre 37 pour cent un an plus tôt. Le manque de contexte métier était la première raison des analyses médiocres, citée par 55 pour cent des dirigeants.

Ce que montrent vraiment les benchmarks

Des travaux universitaires publiés sur arXiv le 30 octobre testent si les agents peuvent spécifier des problèmes plutôt que simplement cliquer dessus. Les auteurs rapportent 98,3 pour cent de spécifications correctes au premier tour et de décisions correctes sur 120 demandes liées à des modèles. À comparer avec 92,5 pour cent pour une exécution unique assistée par schéma et 82,5 pour cent pour le modèle seul. Le même flux de travail n'a pris aucune fausse décision de disponibilité parmi les 42 demandes qui exigeaient une clarification ou un rejet. Mais seuls 9 des 12 tests en conditions réelles, de l'utilisateur aux résultats, ont passé les quatre étapes, soit un taux de 75,0 pour cent.

Cet écart entre un benchmark soigneusement constitué et l'usage réel est le chiffre à surveiller. Les fournisseurs livrent les mains plus vite que les contrôles.

« La voix est le domaine où le service est le plus difficile à réussir, et où il compte le plus pour les clients », a déclaré Kishan Chetan, vice-président exécutif et directeur général d'Agentforce et Service Cloud chez Salesforce.

L'accord de Salesforce pour racheter Cresta, annoncé lundi, place le même pari sur des agents vocaux qui gèrent les appels de bout en bout. The Information a rapporté un prix de 2,7 milliard de dollars, citant une personne proche de l'opération. Salesforce n'a pas communiqué de montant, et TNW a indiqué qu'il n'avait pas vérifié ce chiffre de façon indépendante.

Des acteurs plus petits bougent aussi. CyberKord a levé 2,7 millions d'euros en pré-amorçage pour automatiser les opérations informatiques et de sécurité, a rapporté Tech.eu le 3 novembre. La société utilise un jumeau numérique de l'infrastructure d'une entreprise pour simuler les correctifs avant de les appliquer. Roleo, fondé par un cofondateur de Veriff, a levé 2,9 millions d'euros pour étendre un agent de carrière basé sur l'IA à travers l'Europe, selon Tech.eu le 2 novembre.

Le bureau est la prochaine surface. La confiance que l'on peut accorder aux agents sur cette surface dépend moins du clic que du contrôle qui suit.