Vercel wydał agent-desktop, CLI, które pozwala agentom AI sterować aplikacjami na pulpicie

Narzędzie jest małe i proste, i o to chodzi. Według dokumentacji agent-desktop zamienia drzewo dostępności aplikacji w płytki szkielet. Wywołujący agent może potem wejść w jeden region, wykonać akcję na referencji i odczytać interfejs jeszcze raz, żeby sprawdzić, czy zmiana się utrzymała. Każde polecenie wypisuje jedną kopertę JSON i kończy pracę.

Pętla obserwuj, działaj, weryfikuj siedzi w agencie albo skrypcie, który wywołuje narzędzie, a nie w samym CLI. Vercel mówi wprost, że agent-desktop „nie jest agentem” i nigdy nie osadza LLM.

Narzędzie działa na macOS 13 lub nowszym, Windows 10 1809 lub nowszym i Ubuntu 24.04 lub nowszym. Te kompilacje korzystają odpowiednio z AX API, UI Automation i AT-SPI. Te same 60 nazw poleceń istnieje na każdej platformie. Cztery z nich (key-down, key-up, mouse-down, mouse-up) kończą się błędem wszędzie. Ograniczenia opisano tak samo starannie jak funkcje. agent-desktop czyta drzewa dostępności i nie porównuje pikseli, więc interfejs, który nie publikuje drzewa, jest dla niego niewidoczny. Nie automatyzuje też stron internetowych. To zadanie zostawiono agent-browser, siostrzanemu narzędziu, które łączy się z portem DevTools, gdy celem jest aplikacja Chromium lub Electron.

Czego nie widzi

Wejście Vercela to najnowszy ruch na zatłoczonym polu. MIT Technology Review przekonywał 2 listopada, że agentowa sieć już jest. Ten sam serwis w newsletterze Download z 3 listopada otwierał numer podejściem zwanym odwrotną teorią gier, czyli projektowaniem mechanizmów, które trzymają zdolne modele w ryzach. Jak ujmuje to newsletter, chodzi o projektowanie systemów, które zachęcają agentów do trzymania się reguł, zamiast zaglądania w ich wnętrze.

Profesor informatyki na Princeton Elad Hazan powiedział MIT Technology Review: „Chcemy wyrównać superinteligentną AI. Dlaczego najpierw nie porozmawiamy o ludziach?”

Ta rama ma znaczenie dla narzędzi takich jak agent-desktop, które przenoszą weryfikację do środowiska, a nie do modelu. Agent musi odczytać aplikację z powrotem po działaniu. To przynajmniej daje dowód, że coś się zmieniło.

Pieniądze i metryki

Adopcję pcha się mocno z góry. Garry Tan, prezes Y Combinator, mówił w podcaście The Builders Waltera Isaacsona, w odcinku, który według TechCruncha miał się ukazać we wtorek. Powiedział, że wydaje „około może 100 do 200 000 dol. rocznie na tokeny”, i udostępnił na GitHubie 23 umiejętności Claude Code pod nazwą gstack. Opisał swojego agenta jako czytającego całą jego pocztę, Dropbox i Apple Notes, w tym notatki z terapii sprzed 20 lat.

Gdzie indziej liczby są mniej pochlebne. Raport na zamówienie działu Insights MIT Technology Review, opublikowany 2 listopada, badał agentów analitycznych w firmach. Wykazał, że 48% generowanych przez nich wniosków prowadzi do działań poprawiających biznes, wobec 37% rok wcześniej. Wykazał też, że 55% kadry zarządzającej wskazuje na brak kontekstu biznesowego, a 45% na rozproszone dane. Raport jest treścią zamówioną, nie redakcyjną, ale stanowi użyteczny punkt odniesienia wobec twierdzeń dostawców.

Badania zbiegają się w tej samej luce między wykonaniem a poprawnością. Akshat Jani, Sakhinana Sagar Srinivas i Venkataramana Runkana złożyli 30 października pracę do arXiv. Raportuje ona 98,3% poprawnych specyfikacji w pierwszej turze i wyników decyzji w 120 zapytaniach związanych z szablonami do automatycznej symulacji PDE. Dla porównania 92,5% dla pojedynczego strzału wspieranego schematem i 82,5% dla samego modelu. W 12 testach na żywo, od zapytania użytkownika do wyników, 9 zakończyło się sukcesem w zakresie specyfikacji, wykonania, eksportu i referencji numerycznej, czyli 75,0%.

Dostawcy narzędzi testowych sprzedają w tę samą lukę. Momentic, spółka z Y Combinator z programu W24, zadebiutowała na Hacker News 2 listopada. Jej strona podaje 77 813 utworzonych testów, 70 607 819 wykonanych przebiegów, 8 932 104 automatycznych napraw i 117 010 złapanych błędów. To dane samej firmy, niezweryfikowane.

Pogoda prawna

Otoczenie się zmienia. W poniedziałek New York Times pozwał Brave'a w sądzie federalnym na Manhattanie, podał TechCrunch. Zarzucił przeglądarce, że zeskrobała jego treści chronione prawem autorskim i rozdała je firmom AI, w tym Anthropic, Perplexity, Mistral, xAI i Cohere. The Daily News, Chicago Tribune i Orlando Sentinel złożyły podobny pozew tego samego dnia. Times nazywa Brave „płotem” dla skradzionych treści. Twierdzi, że Brave zbudował indeks ponad 30 000 000 000 stron internetowych za pomocą niezidentyfikowanego crawlera.

Pieniądze wciąż płyną. Tech.eu podał 3 listopada, że mediolański CyberKord zebrał 2,7 mln euro w rundzie pre-seed prowadzonej przez 360 Capital, z udziałem Plus Partners, Addendum Capital i Vento. Platforma łączy AI z cyfrowym bliźniakiem infrastruktury IT firmy. 2 listopada ten sam serwis napisał, że Roleo, założone przez współzałożyciela Veriffa, zebrało 2,9 mln euro na rozwój agenta kariery AI w Europie.

Nie wszyscy zatrudniają pod to. Prezes SUSE Dirk-Peter van Leeuwen napisał w wewnętrznym mailu do załogi, że firma zwolni około 10% z 1 900 pracowników na świecie, wskazując na automatyzację i AI. The Register pierwszy opisał mail, a heise online podał to 2 listopada. Dotknięci pracownicy mieli dowiedzieć się do środy. Indywidualne rozmowy zaczynają się na początku przyszłego tygodnia, a 16 listopada zaplanowano odprawę strategiczną dla reszty załogi.