Les outils de navigation pour agents se divisent en deux camps : ce que les agents peuvent voir et ce qu'ils ont le droit de toucher

Le dernier-né des outils pour agents recensés dans le dossier est petit et sans éclat. agent-desktop, publié le 3 novembre sous une adresse Vercel, lit l'arbre d'accessibilité d'une application de bureau et le renvoie en JSON. Chaque élément sur lequel un agent peut agir reçoit une référence qu'il peut cliquer, dans laquelle il peut saisir du texte ou sur laquelle il peut attendre. L'outil se présente comme une CLI et une bibliothèque C pour macOS, Windows et Linux, selon sa documentation.

La documentation est d'une franchise inhabituelle sur son périmètre. « Ce n'est pas un agent. La boucle observer, agir et vérifier vit dans l'agent ou le script appelant », y lit-on, avec la précision qu'il n'y a ni modèle à l'intérieur ni invite interactive : chaque commande imprime une seule enveloppe JSON et se termine. Elle reconnaît aussi les limites. L'outil « lit les arbres d'accessibilité et ne fait pas de correspondance avec les pixels, il ne peut donc pas voir une interface qui ne publie aucun arbre d'accessibilité », et il n'automatise pas du tout les pages web, renvoyant cette tâche à un outil navigateur complémentaire.

Deux surfaces, deux séries de problèmes

Cette séparation compte, car le versant web de l'automatisation par agents est devenu un terrain juridique. Le lundi 2 novembre, le New York Times a attaqué Brave en justice, accusant l'entreprise de navigateur d'avoir aspiré ses contenus protégés par le droit d'auteur et de les avoir distribués à des sociétés d'IA citées dans la plainte : Anthropic, Perplexity, Mistral, xAI et Cohere, rapporte TechCrunch. Le Daily News, le Chicago Tribune et l'Orlando Sentinel ont déposé une plainte similaire le même jour devant un tribunal fédéral de Manhattan.

Selon le récit de la plainte par TechCrunch, le Times compare Brave à un « fournisseur, revendeur et distributeur de contenus protégés volés ». La plainte affirme que l'entreprise a construit un index de plus de 30 000 000 000 de pages web à l'aide d'un crawler non identifié que les éditeurs ne pouvaient pas bloquer. Elle vise aussi une fonction de Brave qui contourne les paywalls et la pratique de l'entreprise consistant à bloquer les publicités des éditeurs tout en vendant les siennes. Brave, fondée en 2015, a levé environ 250 000 000 de dollars à ce jour, selon les trackers de marché privé cités par TechCrunch. Le Times demande une injonction et des dommages-intérêts.

Lus ensemble, les deux articles décrivent la même tension par les deux bouts. L'automatisation de bureau via un arbre d'accessibilité reste à l'intérieur d'une application que l'utilisateur fait déjà tourner. L'automatisation web franchit les frontières des éditeurs, et la facture arrive au tribunal.

Qui paie les tokens

Le coût est l'autre contrainte, et le dossier y met un chiffre. Garry Tan, PDG de Y Combinator, a déclaré au podcast The Builders de Walter Isaacson, dans un épisode que TechCrunch dit avoir été programmé pour paraître le mardi, qu'il dépense « environ peut-être 100 000 à 200 000 dollars par an en tokens ». Il fait tourner un agent interne à YC appelé Stray Light qui conserve le contexte de chaque fondateur que l'accélérateur a soutenu. Son agent personnel, a-t-il dit, a lu ses courriels, son Dropbox et ses notes Apple Notes sur 20 ans.

Tan s'est montré prudent sur l'image renvoyée. « C'est trop cher pour le moment », a-t-il dit, qualifiant ses propres dépenses de « privilège fou que tout le monde ne peut pas s'offrir ». Cet aveu cadre mal avec les promesses des fournisseurs. Momentic, société de la promotion YC W24 lancée sur Hacker News le 2 novembre, affiche sur sa page d'accueil 77 813 tests créés, 70 607 819 exécutions de tests réalisées et 117 010 bugs détectés. Elle vend des tests YAML en anglais courant qu'un agent de codage peut rédiger via MCP.

Les preuves sont plus minces que le marketing

Les mesures indépendantes sont plus difficiles à trouver. MIT Technology Review a publié le 2 novembre une enquête selon laquelle 48 % des enseignements produits par des agents d'analyse débouchent sur des actions qui améliorent l'activité, contre 37 % un an plus tôt. Le manque de contexte métier est cité par 55 % des dirigeants comme la principale raison d'un résultat médiocre. L'article porte une mention : il a été produit par le pôle de contenus commerciaux de la publication, et non par sa rédaction.

Les travaux universitaires sont plus prudents encore. Un article soumis à arXiv le 30 octobre par Akshat Jani, Sakhinana Sagar Srinivas et Venkataramana Runkana a testé si des agents peuvent construire des spécifications JSON exécutables complètes pour la création de géométries, le maillage, la résolution d'équations aux dérivées partielles et l'export. Sur 120 demandes liées à des modèles, le flux complet a atteint 98,3 % de spécifications et de décisions correctes au premier tour, contre 92,5 % pour une exécution unique assistée par schéma et 82,5 % pour le modèle seul, sans aucune décision faussement prête parmi 42 demandes nécessitant une clarification ou un rejet. Mais seuls 9 des 12 tests en conditions réelles, de la demande de l'utilisateur aux résultats, ont réussi à la fois la spécification, l'exécution, l'export et la référence numérique, soit 75,0 %, et les auteurs signalent des régressions sur les réponses nouvelles comme problème de cohérence.

Cet écart, quasi parfait sur les modèles et de trois sur quatre sur les demandes réelles, est le chiffre à garder en tête. Des outils comme agent-desktop suppriment certains modes de défaillance en refusant de deviner : une action réussie ne prouve pas que l'interface a changé, la boucle se termine donc par une lecture.

La recherche sur l'alignement va dans une direction similaire. MIT Technology Review rapporte le 3 novembre que des chercheurs explorent la « théorie des jeux inversée », ou conception de mécanismes, pour façonner les incitations des agents plutôt que d'inspecter l'intérieur des modèles, en citant une prépublication de l'économiste du MIT Stephen Morris et de collègues de Yale et Columbia sur la vérification croisée des agents pour empêcher le sandbagging. Morris a déclaré à la publication que « les agents d'IA comprennent très bien ce que les autres agents d'IA peuvent accomplir ».

Rien de tout cela ne tranche la question de savoir si l'on peut confier un navigateur à des agents. Cela suggère en revanche que l'industrie a cessé de demander s'ils savent cliquer, et commence à demander ce qu'ils ont le droit de voir.