Vercel veröffentlicht agent-desktop: eine CLI, mit der KI-Agenten Desktop-Apps steuern

Das Werkzeug ist klein und schlicht, und genau das ist gewollt. Laut Dokumentation bildet agent-desktop den Accessibility-Baum einer App auf ein flaches Gerüst ab. Der aufrufende Agent kann dann in einen Bereich hineingehen, auf eine Referenz reagieren und die Oberfläche erneut lesen, um zu bestätigen, dass die Änderung angekommen ist. Jeder Befehl gibt einen JSON-Umschlag aus und beendet sich.

Die Schleife aus Beobachten, Handeln und Prüfen liegt im aufrufenden Agenten oder Skript, nicht in der CLI. Vercel stellt klar, dass agent-desktop "kein Agent ist" und niemals ein LLM einbettet.

Es erscheint für macOS 13 oder neuer, Windows 10 1809 oder neuer und Ubuntu 24.04 oder neuer. Diese Builds nutzen jeweils die AX API, UI Automation und AT-SPI. Dieselben 60 Befehlsnamen gibt es auf jeder Plattform. Vier davon (key-down, key-up, mouse-down, mouse-up) schlagen überall fehl und bleiben geschlossen. Die Grenzen sind so sorgfältig dokumentiert wie die Funktionen. agent-desktop liest Accessibility-Bäume und gleicht keine Pixel ab, eine Oberfläche ohne veröffentlichten Baum bleibt für das Werkzeug unsichtbar. Webseiten automatisiert es überhaupt nicht. Diese Aufgabe bleibt bei agent-browser, einem Schwesterwerkzeug, das sich mit einem DevTools-Port verbindet, wenn das Ziel eine Chromium- oder Electron-App ist.

Was es nicht sehen kann

Vercels Vorstoß ist der jüngste Zug in einem dicht besetzten Feld. MIT Technology Review argumentierte am 2. November, das agentische Web sei angekommen. Der Download-Newsletter desselben Hauses vom 3. November führte mit einem Ansatz namens Reverse Game Theory, auch Mechanism Design, um leistungsfähige Modelle auf Kurs zu halten. Wie der Newsletter es formuliert, sollen Systeme Anreize setzen, damit Agenten sich an die Regeln halten, statt ihr Innenleben zu prüfen.

"We want to align superintelligent AI," sagte der Princeton-Informatikprofessor Elad Hazan zu MIT Technology Review. "Why don't we first talk about humans?"

Diese Einordnung ist wichtig für Werkzeuge wie agent-desktop, das die Prüfung auf die Umgebung verlagert statt auf das Modell. Der Agent muss die App nach dem Handeln erneut lesen. Das erzeugt zumindest einen Beleg dafür, dass sich etwas geändert hat.

Das Geld und die Kennzahlen

Die Verbreitung wird von oben kräftig vorangetrieben. Y-Combinator-CEO Garry Tan sprach mit Walter Isaacsons Podcast The Builders, in einer Folge, die laut TechCrunch am Dienstag erscheinen sollte. Er sagte, er gebe "about maybe $100 to $200.000 a year on tokens" aus und habe 23 Claude-Code-Skills auf GitHub unter dem Namen gstack veröffentlicht. Seinen Agenten beschrieb er so, dass er alle seine E-Mails, Dropbox und Apple Notes liest, einschließlich Therapienotizen, die 20 Jahre zurückreichen.

Andernorts fallen die Zahlen weniger schmeichelhaft aus. Ein Custom Report aus dem Insights-Bereich von MIT Technology Review, veröffentlicht am 2. November, befragte Analytics-Agenten in Unternehmen. Er ergab, dass 48% der erzeugten Erkenntnisse zu Maßnahmen führen, die das Geschäft verbessern, nach 37% ein Jahr zuvor. Außerdem machen 55% der Führungskräfte unzureichenden Geschäftskontext und 45% fragmentierte Daten verantwortlich. Der Report ist Custom Content, kein redaktioneller Beitrag, aber ein nützliches Gegengewicht zu Anbieteraussagen.

Die Forschung läuft auf dieselbe Lücke zwischen Ausführung und Korrektheit zu. Akshat Jani, Sakhinana Sagar Srinivas und Venkataramana Runkana reichten am 30. Oktober ein Papier bei arXiv ein. Es meldet 98,3% korrekte Spezifikationen im ersten Durchgang und Entscheidungsergebnisse über 120 vorlagenbezogene Anfragen für automatisierte PDE-Simulation. Das vergleicht sich mit 92,5% für einen schema-gestützten Einzelschuss und 82,5% für modell-only. Bei 12 Live-Tests von Nutzer zu Ergebnis erreichten 9 gemeinsam Spezifikation, Ausführung, Export und numerische Referenz, also 75,0%.

Testanbieter verkaufen in dieselbe Lücke hinein. Momentic, ein Y-Combinator-W24-Unternehmen, startete am 2. November auf Hacker News. Die Landingpage nennt 77.813 erstellte Tests, 70.607.819 ausgeführte Testläufe, 8.932.104 automatische Reparaturen und 117.010 gefundene Fehler. Das sind die eigenen Zahlen des Unternehmens, ungeprüft.

Rechtswetter

Das umgebende Klima dreht. Am Montag verklagte die New York Times Brave vor dem Bundesgericht in Manhattan, laut TechCrunch. Sie wirft dem Browser vor, urheberrechtlich geschützte Inhalte gescrapt und an KI-Firmen wie Anthropic, Perplexity, Mistral, xAI und Cohere verteilt zu haben. Daily News, Chicago Tribune und Orlando Sentinel reichten am selben Tag eine ähnliche Klage ein. Die Times nennt Brave einen KI-"Zaun" für gestohlene Inhalte. Sie sagt, Brave habe mit einem nicht identifizierten Crawler einen Index von mehr als 30.000.000.000 Webseiten aufgebaut.

Das Geld bewegt sich weiter. Tech.eu meldete am 3. November, dass das Mailänder Unternehmen CyberKord 2.700.000 Euro in einer Pre-Seed-Runde unter Führung von 360 Capital eingesammelt hat, mit Beteiligung von Plus Partners, Addendum Capital und Vento. Die Plattform verbindet KI mit einem digitalen Zwilling der IT-Infrastruktur eines Unternehmens. Am 2. November meldete dasselbe Medium, Roleo, von einem Veriff-Mitgründer gegründet, habe 2.900.000 Euro eingesammelt, um einen KI-Karriereagenten in Europa auszubauen.

Nicht überall wird dafür eingestellt. SUSE-CEO Dirk-Peter van Leeuwen teilte den Mitarbeitern in einer internen E-Mail mit, das Unternehmen werde etwa 10% seiner weltweit 1.900 Mitarbeiter abbauen, mit Verweis auf Automatisierung und KI. The Register berichtete zuerst über die E-Mail, heise online griff sie am 2. November auf. Betroffene Mitarbeiter sollten bis Mittwoch informiert werden. Einzelgespräche beginnen Anfang nächster Woche, ein Strategie-Briefing für die übrige Belegschaft folgt am 16. November.