Agenten-Browser-Tools teilen sich in zwei Lager: was Agenten sehen und was sie anfassen dürfen

Das neueste Stück Agenten-Tooling in der Akte ist klein und unspektakulär. agent-desktop, am 3. November unter einer Vercel-Adresse veröffentlicht, liest den Accessibility-Baum einer Desktop-App und gibt ihn als JSON zurück. Jedes Element, auf das ein Agent reagieren kann, bekommt eine Referenz, auf die er klicken, in die er tippen oder auf die er warten kann. Laut Dokumentation gibt es das Werkzeug als CLI und als C-Bibliothek für macOS, Windows und Linux.

Die Dokumentation ist ungewöhnlich deutlich, was ihren Umfang angeht. „It is not an agent. The observe, act, and verify loop lives in the calling agent or script“, heißt es dort. Ein Modell im Inneren gebe es nicht, auch keine interaktive Eingabeaufforderung: Jeder Befehl druckt einen JSON-Umschlag und beendet sich. Auch die Grenzen räumt sie ein. Das Werkzeug „reads accessibility trees and does not match pixels, so it cannot see a UI that publishes no accessibility tree“, und Webseiten automatisiert es überhaupt nicht, dafür verweist es auf ein begleitendes Browser-Werkzeug.

Zwei Oberflächen, zwei Arten von Problemen

Diese Trennung ist wichtig, denn die Web-Seite der Agenten-Automatisierung ist inzwischen ein juristisches Schlachtfeld. Am Montag, dem 2. November, verklagte die New York Times Brave. Die Zeitung wirft dem Browserunternehmen vor, urheberrechtlich geschützte Inhalte abgeschöpft und an KI-Firmen weitergegeben zu haben, die in der Klage als Anthropic, Perplexity, Mistral, xAI und Cohere genannt werden, wie TechCrunch berichtete. Daily News, Chicago Tribune und Orlando Sentinel reichten am selben Tag eine ähnliche Klage beim Bundesgericht in Manhattan ein.

Nach TechCrunchs Schilderung der Klageschrift vergleicht die Times Brave mit einem „supplier, dealer, and distributor of stolen copyrighted content“. Das Unternehmen habe mit einem nicht identifizierten Crawler einen Index von mehr als 30.000.000.000 Webseiten aufgebaut, den Verlage nicht blockieren konnten. Die Klage richtet sich auch gegen eine Brave-Funktion, die Paywalls umgeht, und gegen die Praxis, Anzeigen von Verlagen zu blockieren und zugleich eigene zu verkaufen. Brave wurde 2015 gegründet und hat nach Angaben von TechCrunch zitierter Marktbeobachter bisher rund 250.000.000 Dollar eingesammelt. Die Times verlangt eine Unterlassungsverfügung und Schadensersatz.

Zusammen gelesen beschreiben die beiden Geschichten dieselbe Spannung von entgegengesetzten Enden. Desktop-Automatisierung über einen Accessibility-Baum bleibt in einer App, die der Nutzer ohnehin laufen hat. Web-Automatisierung überschreitet Verlagsgrenzen, und die Rechnung dafür kommt vor Gericht an.

Wer die Tokens bezahlt

Die Kosten sind die andere Schranke, und die Akte nennt eine Zahl dafür. Y-Combinator-CEO Garry Tan sagte in Walter Isaacsons Podcast The Builders, in einer Folge, die TechCrunch zufolge am Dienstag erscheinen sollte, er gebe „about maybe $100[,000] to $200,000 a year on tokens“ aus. Er betreibt einen internen YC-Agenten namens Stray Light, der Kontext zu jedem Gründer hält, den der Accelerator unterstützt hat. Sein persönlicher Agent, so sagte er, habe seine E-Mails, Dropbox und Apple Notes bis 20 Jahre zurück gelesen.

Tan war vorsichtig, was die Außenwirkung anging. „It's too expensive right now“, sagte er und nannte seine eigenen Ausgaben „a crazy privilege that not everyone can do“. Dieses Eingeständnis steht unangenehm neben den Versprechen der Anbieter. Momentic, ein Unternehmen aus YC W24, das am 2. November auf Hacker News startete, wirbt auf seiner Startseite mit 77.813 erstellten Tests, 70.607.819 ausgeführten Testläufen und 117.010 gefundenen Fehlern. Verkauft werden YAML-Tests in einfacher Sprache, die ein Coding-Agent über MCP schreiben kann.

Die Belege sind dünner als das Marketing

Unabhängige Messungen sind schwerer zu finden. MIT Technology Review veröffentlichte am 2. November eine Umfrage, nach der 48 Prozent der Erkenntnisse, die Analyse-Agenten liefern, zu Maßnahmen führen, die das Geschäft verbessern, gegenüber 37 Prozent ein Jahr zuvor. Fehlender Geschäftskontext wurde von 55 Prozent der Führungskräfte als Hauptgrund für schlechte Ergebnisse genannt. Der Beitrag trägt einen Hinweis: Er entstand in der Custom-Content-Abteilung der Publikation, nicht in der Redaktion.

Wissenschaftliche Arbeiten sind noch zurückhaltender. Ein am 30. Oktober bei arXiv eingereichtes Paper von Akshat Jani, Sakhinana Sagar Srinivas und Venkataramana Runkana prüfte, ob Agenten vollständige, ausführbare JSON-Spezifikationen für Geometrieerstellung, Vernetzung, PDE-Lösung und Export bauen können. Bei 120 vorlagenbezogenen Anfragen erreichte der vollständige Workflow 98,3 Prozent korrekte Spezifikations- und Entscheidungsergebnisse im ersten Durchgang, gegenüber 92,5 Prozent bei schema-gestütztem Single-Shot und 82,5 Prozent bei reinem Modell. Falsche Bereitschaftsentscheidungen gab es unter den 42 Anfragen nicht, die Klärung oder Ablehnung brauchten. Doch nur 9 von 12 Live-Tests vom Nutzer bis zum Ergebnis erreichten gemeinsam Erfolg bei Spezifikation, Ausführung, Export und numerischer Referenz, also 75,0 Prozent, und die Autoren nennen Regressionen bei frischen Antworten als Konsistenzproblem.

Diese Lücke, nahezu perfekt bei Vorlagen und drei von vier bei Live-Anfragen, ist die Zahl, die man im Kopf behalten sollte. Werkzeuge wie agent-desktop beseitigen einige Fehlerarten, indem sie nicht raten: Eine erfolgreiche Aktion beweist nicht, dass sich die Oberfläche geändert hat, deshalb endet die Schleife mit einem Lesevorgang.

Die Alignment-Forschung bewegt sich in eine ähnliche Richtung. MIT Technology Review berichtete am 3. November, Forscher verfolgten „reverse game theory“, also Mechanism Design, um die Anreize von Agenten zu formen, statt Modellinterna zu prüfen. Genannt wird ein Preprint des MIT-Ökonomen Stephen Morris und von Kollegen aus Yale und Columbia über die gegenseitige Kontrolle von Agenten, um Sandbagging zu verhindern. Morris sagte der Publikation, „AI agents have a very good understanding of what other AI agents can achieve“.

Nichts davon entscheidet, ob man Agenten einen Browser anvertrauen kann. Es deutet aber darauf hin, dass die Branche aufgehört hat zu fragen, ob sie klicken können, und angefangen hat zu fragen, was sie sehen dürfen.