agent-desktop od Vercela przenosi automatyzację agentów z sieci na pulpit

Najnowsze narzędzie do automatyzacji przeglądarki przez agentów w ogóle nie dotyka przeglądarki. agent-desktop od Vercela, udokumentowany 3 listopada, czyta drzewo dostępności aplikacji desktopowej i zwraca je jako JSON. Każdy element, na którym agent może zadziałać, dostaje referencję. Agent działa na referencji, czyta interfejs ponownie, żeby sprawdzić wynik, i powtarza. Narzędzie działa jako CLI oraz jako biblioteka C dla macOS, Windows i Linuksa.

Projekt jest celowo wąski. Udane działanie nie dowodzi, że interfejs się zmienił, więc pętla kończy się odczytem. W środku nie ma modelu, nie ma GUI ani interaktywnego znaku zachęty. Każde polecenie wypisuje jedną kopertę JSON i kończy pracę. Nie widzi też interfejsu, który nie publikuje drzewa dostępności, bo czyta drzewa, a nie dopasowuje pikseli.

Dlaczego drzewo dostępności ma znaczenie

W tym samym tygodniu heise opublikował odcinek podcastu, w którym padł argument, że testowanie frontendu jest trudniejsze niż testowanie backendu. Renderowanie komponentów w prawdziwej przeglądarce, a nie w emulowanym środowisku, wyłapuje awarie, które emulator pomija. Alexander Opalic, deweloper, z którym rozmawiano, renderuje datepickery, tabele i modale w iframe za pomocą trybu przeglądarki Vitest. Płaci za to: około 200 milisekund na kliknięcie zamiast 20. Ten sam kompromis, wierność kontra szybkość, podejmuje oprogramowanie agentów, kiedy odmawia zgadywania ze zrzutów ekranu.

Ekonomika tego wyboru jest już widoczna gdzie indziej. Garry Tan, dyrektor generalny Y Combinator, powiedział w podcaście The Builders Waltera Isaacsona, że wydaje „about maybe $100[,000] to $200,000 a year on tokens” na swoje agenty, podaje TechCrunch. Stwierdził, że ten koszt to „a crazy privilege that not everyone can do”. Tanie, deterministyczne obserwowanie to jeden ze sposobów na utrzymanie tego rachunku w ryzach.

Agenci potrzebują nadzoru, nie tylko rąk

Uber zbudował bramę MCP, żeby kontrolować dostęp do ponad 800 serwerów i 5 000 narzędzi agentowych, poinformował InfoQ 2 listopada. Liczby sugerują, że podaż narzędzi nie jest już wąskim gardłem. Kontrola jest. Tekst MIT Technology Review z 3 listopada o „reverse game theory”, czyli projektowaniu mechanizmów, stawia ten sam argument od strony zgodności z celami. Zamiast sprawdzać, co model myśli, projektuje się reguły, które czynią przestrzeganie zasad ruchem wygrywającym. Przykład z dzieleniem ciasta jest wersją prostą: jedna osoba kroi, druga wybiera pierwsza.

Jakość wyniku to drugi otwarty problem. Badanie opublikowane 2 listopada przez dział treści niestandardowych MIT Technology Review wykazało, że 48 procent wniosków generowanych przez agenty analityczne prowadzi do działań, które poprawiają biznes, wobec 37 procent rok wcześniej. Brak kontekstu biznesowego był najczęstszym powodem słabych wniosków, wskazało go 55 procent kadry kierowniczej.

Co naprawdę pokazują benchmarki

Praca naukowa opublikowana na arXiv 30 października sprawdza, czy agenty potrafią specyfikować problemy, a nie tylko klikać przez nie. Autorzy raportują 98,3 procent poprawnych specyfikacji w pierwszej turze i wyników decyzji przy 120 żądaniach związanych z szablonami. Dla porównania 92,5 procent dało pojedyncze podejście wsparte schematem, a 82,5 procent sam model. Ten sam przepływ pracy nie podjął żadnej fałszywej decyzji o gotowości wśród 42 żądań, które wymagały wyjaśnienia lub odrzucenia. Ale tylko 9 z 12 testów na żywo od użytkownika do wyników przeszło wszystkie cztery etapy, czyli 75,0 procent.

Ta luka między wyselekcjonowanym benchmarkiem a żywym użyciem to liczba, którą warto obserwować. Producenci dostarczają ręce szybciej niż kontrole.

„Voice is where service is hardest to get right, and where it matters most to customers,” powiedział Kishan Chetan, EVP i GM ds. Agentforce i Service Cloud w Salesforce.

Zgoda Salesforce na zakup Cresty, ogłoszona w poniedziałek, stawia ten sam zakład na agentów głosowych, którzy obsługują rozmowy od początku do końca. The Information podało cenę 2,7 mld dolarów, powołując się na osobę znającą transakcję. Salesforce nie ujawnił kwoty, a TNW stwierdził, że nie zweryfikował tej liczby niezależnie.

Mniejsi gracze też się ruszają. CyberKord pozyskał 2,7 mln euro w rundzie pre-seed na automatyzację operacji IT i bezpieczeństwa, podał Tech.eu 3 listopada. Firma używa cyfrowego bliźniaka infrastruktury klienta, żeby symulować poprawki przed ich wdrożeniem. Roleo, od współzałożyciela Veriffa, pozyskało 2,9 mln euro na rozszerzenie agenta kariery AI w całej Europie, według Tech.eu z 2 listopada.

Pulpit to kolejna powierzchnia. To, czy agentom można na nim zaufać, zależy mniej od kliknięcia niż od sprawdzenia, które po nim następuje.