Vercels agent-desktop holt die Agenten-Automatisierung vom Web auf den Desktop

Das neueste Werkzeug zur Browser-Automatisierung durch Agenten fasst gar keinen Browser an. Vercels agent-desktop, dokumentiert am 3. November, liest den Accessibility-Baum einer Desktop-App und gibt ihn als JSON zurück. Jedes Element, auf das ein Agent einwirken kann, bekommt eine Referenz. Der Agent handelt über eine Referenz, liest die Oberfläche erneut, um das Ergebnis zu prüfen, und wiederholt das. Ausgeliefert wird es als CLI und als C-Bibliothek für macOS, Windows und Linux.

Der Entwurf ist bewusst eng. Eine erfolgreiche Aktion beweist nicht, dass sich die Oberfläche geändert hat, deshalb endet die Schleife mit einem Lesevorgang. Im Inneren steckt kein Modell, es gibt keine GUI und keine interaktive Eingabeaufforderung. Jeder Befehl gibt einen JSON-Umschlag aus und beendet sich. Und es kann eine Oberfläche nicht sehen, die keinen Accessibility-Baum veröffentlicht, weil es Bäume liest statt Pixel abzugleichen.

Warum der Accessibility-Baum zählt

In derselben Woche brachte heise eine Podcast-Folge, die argumentiert, Frontend-Tests seien schwieriger als Backend-Tests. Komponenten in einem echten Browser statt in einer emulierten Umgebung zu rendern, fängt Fehler, die der Emulator übersieht. Alexander Opalic, der interviewte Entwickler, rendert Datepickers, Tabellen und Modals in einem iframe mit dem Browser-Modus von Vitest. Er zahlt dafür: rund 200 Millisekunden pro Klick statt 20. Dieser Tausch, Genauigkeit gegen Geschwindigkeit, ist derselbe, den Agenten-Werkzeuge eingehen, wenn sie sich weigern, aus Screenshots zu raten.

Die Ökonomie dieser Entscheidung ist anderswo schon sichtbar. Y-Combinator-CEO Garry Tan sagte im Podcast The Builders von Walter Isaacson, er gebe „etwa vielleicht $100[,000] bis $200,000 im Jahr für Tokens" für seine Agenten aus, berichtet TechCrunch. Die Kosten seien „ein verrücktes Privileg, das nicht jeder haben kann". Billige, deterministische Beobachtung ist ein Weg, diese Rechnung klein zu halten.

Agenten brauchen Governance, nicht nur Hände

Uber hat ein MCP-Gateway gebaut, um den Zugang zu mehr als 800 Servern und 5.000 Agenten-Werkzeugen zu regeln, meldete InfoQ am 2. November. Die Zahlen legen nahe, dass das Werkzeugangebot nicht mehr der Engpass ist. Die Kontrolle ist es. Das Titelthema von MIT Technology Review vom 3. November über „reverse game theory", also Mechanismus-Design, argumentiert dasselbe von der Alignment-Seite her. Statt zu prüfen, was ein Modell denkt, entwirft man Regeln, die Regelbefolgung zum gewinnenden Zug machen. Das Beispiel vom Kuchenaufteilen ist die schlichte Variante: einer schneidet, der andere wählt zuerst.

Die Qualität der Ergebnisse ist das andere offene Problem. Eine Umfrage, die die Custom-Content-Abteilung von MIT Technology Review am 2. November veröffentlichte, ergab, dass 48 Prozent der von Analyse-Agenten erzeugten Erkenntnisse zu Maßnahmen führen, die das Geschäft verbessern, gegenüber 37 Prozent ein Jahr zuvor. Fehlender Geschäftskontext war der häufigste Grund für schlechte Erkenntnisse, genannt von 55 Prozent der Führungskräfte.

Was die Benchmarks tatsächlich zeigen

Eine am 30. Oktober auf arXiv veröffentlichte akademische Arbeit prüft, ob Agenten Probleme spezifizieren können, statt sie nur durchzuklicken. Die Autoren berichten 98,3 Prozent korrekte Spezifikation im ersten Durchgang und korrekte Entscheidungsergebnisse bei 120 templatebezogenen Anfragen. Das vergleicht sich mit 92,5 Prozent für einen schema-unterstützten Einzelschuss und 82,5 Prozent für reines Modell. Derselbe Workflow traf bei den 42 Anfragen, die Klärung oder Ablehnung verlangten, keine falschen Bereitschaftsentscheidungen. Aber nur 9 von 12 Live-Tests vom Nutzer bis zum Ergebnis bestanden alle vier Stufen, eine Quote von 75,0 Prozent.

Diese Lücke zwischen kuratiertem Benchmark und Live-Einsatz ist die Zahl, auf die man schauen sollte. Die Anbieter liefern die Hände schneller aus als die Prüfungen.

„Voice ist der Bereich, in dem Service am schwersten richtig hinzubekommen ist und in dem er für Kunden am meisten zählt", sagte Kishan Chetan, EVP und GM von Agentforce und Service Cloud bei Salesforce.

Die am Montag angekündigte Vereinbarung von Salesforce, Cresta zu kaufen, setzt dieselbe Wette auf Sprachagenten, die Anrufe von Anfang bis Ende abwickeln. The Information nannte einen Preis von 2.700.000.000 $ und berief sich auf eine mit dem Geschäft vertraute Person. Salesforce nannte keine Summe, und TNW erklärte, die Zahl nicht unabhängig überprüft zu haben.

Auch kleinere Anbieter bewegen sich. CyberKord sammelte 2.700.000 € in einer Pre-Seed-Finanzierung ein, um IT- und Sicherheitsabläufe zu automatisieren, meldete Tech.eu am 3. November. Das Unternehmen nutzt einen digitalen Zwilling der Infrastruktur eines Kunden, um Korrekturen zu simulieren, bevor es sie anwendet. Roleo, von einem Mitgründer von Veriff, sammelte 2.900.000 € ein, um einen KI-Karriereagenten europaweit auszubauen, laut Tech.eu am 2. November.

Der Desktop ist die nächste Oberfläche. Ob man Agenten dort vertrauen kann, hängt weniger am Klick als an der Prüfung, die folgt.