Vercel publie agent-desktop, une CLI qui laisse les agents IA piloter les applications de bureau

L'outil est petit et sobre, et c'est justement l'idée. D'après sa documentation, agent-desktop transforme l'arbre d'accessibilité d'une application en un squelette peu profond. L'agent appelant peut ensuite descendre dans une zone, agir sur une référence et relire l'interface pour confirmer que le changement a bien eu lieu. Chaque commande affiche une enveloppe JSON et se termine.

La boucle observer, agir, vérifier se trouve dans l'agent ou le script appelant, pas dans la CLI. Vercel écrit noir sur blanc qu'agent-desktop « n'est pas un agent » et n'intègre jamais de LLM.

Elle est disponible pour macOS 13 ou ultérieur, Windows 10 1809 ou ultérieur, et Ubuntu 24.04 ou ultérieur. Ces versions s'appuient respectivement sur l'API AX, UI Automation et AT-SPI. Les mêmes 60 noms de commandes existent sur toutes les plateformes. Quatre d'entre elles (key-down, key-up, mouse-down, mouse-up) échouent par défaut partout. Les limites sont documentées avec autant de soin que les fonctions. agent-desktop lit les arbres d'accessibilité et ne compare pas les pixels : une interface qui n'expose aucun arbre lui reste invisible. Elle n'automatise pas du tout les pages web. Ce travail revient à agent-browser, un outil voisin qui se connecte à un port DevTools quand la cible est une application Chromium ou Electron.

Ce qu'elle ne peut pas voir

L'arrivée de Vercel est le dernier mouvement dans un domaine encombré. MIT Technology Review soutenait le 2 novembre que le web agentique était arrivé. La newsletter Download du même média, le 3 novembre, ouvrait sur une approche appelée théorie des jeux inversée, ou conception de mécanismes, pour garder les modèles capables sur les rails. Comme l'écrit la newsletter, l'idée est de concevoir des systèmes qui incitent les agents à respecter les règles plutôt que d'inspecter leur fonctionnement interne.

« Nous voulons aligner une IA superintelligente », a déclaré à MIT Technology Review Elad Hazan, professeur d'informatique à Princeton. « Pourquoi ne pas d'abord parler des humains ? »

Ce cadrage compte pour des outils comme agent-desktop, qui déplace la vérification vers l'environnement plutôt que vers le modèle. L'agent doit relire l'application après avoir agi. Cela produit au moins une preuve que quelque chose a changé.

L'argent et les chiffres

L'adoption est poussée fortement par le haut. Garry Tan, PDG de Y Combinator, s'est exprimé sur le podcast The Builders de Walter Isaacson, dans un épisode que TechCrunch annonçait pour le mardi. Il a dit dépenser « environ peut-être 100 à 200 000 dollars par an en tokens » et avoir publié en open source 23 compétences Claude Code sur GitHub sous le nom gstack. Il décrit son agent comme lisant tous ses courriels, son Dropbox et ses Apple Notes, y compris des notes de thérapie remontant à 20 ans.

Ailleurs, les chiffres sont moins flatteurs. Un rapport sur mesure du pôle Insights de MIT Technology Review, publié le 2 novembre, a interrogé des agents d'analyse dans des entreprises. Il constate que 48 % des analyses qu'ils produisent mènent à des actions qui améliorent l'activité, contre 37 % un an plus tôt. Il constate aussi que 55 % des dirigeants incriminent un contexte métier insuffisant et 45 % des données fragmentées. Le rapport est un contenu commandité, pas éditorial, mais il offre un contrepoids utile aux affirmations des fournisseurs.

La recherche converge vers le même écart entre exécution et justesse. Akshat Jani, Sakhinana Sagar Srinivas et Venkataramana Runkana ont soumis un article à arXiv le 30 octobre. Il rapporte 98,3 % de spécifications et de décisions correctes au premier tour sur 120 demandes liées à des modèles pour la simulation automatisée d'équations aux dérivées partielles. À comparer avec 92,5 % pour une exécution unique assistée par schéma et 82,5 % pour le modèle seul. Sur 12 tests réels allant de la demande au résultat, 9 ont réussi à la fois la spécification, l'exécution, l'export et la référence numérique, soit 75,0 %.

Les fournisseurs de tests vendent dans le même créneau. Momentic, société Y Combinator W24, s'est lancée sur Hacker News le 2 novembre. Sa page d'accueil revendique 77 813 tests créés, 70 607 819 exécutions de tests, 8 932 104 réparations automatiques et 117 010 bogues détectés. Ce sont les chiffres de l'entreprise, non vérifiés.

Météo juridique

Le climat alentour se retourne. Lundi, le New York Times a poursuivi Brave devant un tribunal fédéral de Manhattan, selon TechCrunch. Le quotidien allègue que le navigateur a aspiré ses contenus protégés par le droit d'auteur et les a distribués à des entreprises d'IA, dont Anthropic, Perplexity, Mistral, xAI et Cohere. Le Daily News, le Chicago Tribune et l'Orlando Sentinel ont déposé une plainte similaire le même jour. Le Times qualifie Brave de « clôture » de l'IA pour contenus volés. Il affirme que Brave a bâti un index de plus de 30 000 000 000 de pages web à l'aide d'un robot d'exploration non identifié.

L'argent circule encore. Tech.eu rapportait le 3 novembre que CyberKord, basé à Milan, avait levé 2 700 000 euros en pré-amorçage, menés par 360 Capital, avec la participation de Plus Partners, Addendum Capital et Vento. La plateforme associe l'IA à un jumeau numérique de l'infrastructure informatique d'une entreprise. Le 2 novembre, le même média indiquait que Roleo, fondé par un cofondateur de Veriff, avait levé 2 900 000 euros pour étendre un agent de carrière IA à travers l'Europe.

Tout le monde n'embauche pas pour cela. Dirk-Peter van Leeuwen, PDG de SUSE, a annoncé à ses équipes dans un courriel interne que l'entreprise supprimerait environ 10 % de ses 1 900 salariés dans le monde, invoquant l'automatisation et l'IA. The Register a révélé le courriel en premier, et heise online l'a repris le 2 novembre. Les salariés concernés devaient être prévenus mercredi. Les entretiens individuels commencent en début de semaine prochaine, avec une réunion de stratégie pour le reste du personnel le 16 novembre.