Narzędzia agentowe do przeglądarek dzielą się na dwa obozy: co agenci widzą i czego wolno im dotknąć

Najnowszy element zestawu narzędzi agentowych jest mały i pozbawiony blasku. agent-desktop, opublikowany 3 listopada pod adresem Vercela, czyta drzewo dostępności aplikacji desktopowej i zwraca je jako JSON. Każdy element, na którym agent może zadziałać, dostaje referencję: można ją kliknąć, wypełnić tekstem albo na nią poczekać. Z dokumentacji wynika, że narzędzie działa jako CLI i biblioteka C dla macOS, Windows i Linuksa.

Dokumentacja wyjątkowo wprost mówi o zakresie. „To nie jest agent. Pętla obserwuj, działaj i weryfikuj żyje w wywołującym agencie lub skrypcie”, czytamy, a dalej, że w środku nie ma modelu ani interaktywnego promptu: każde polecenie wypisuje jedną kopertę JSON i kończy pracę. Twórcy przyznają też ograniczenia. Narzędzie „czyta drzewa dostępności i nie porównuje pikseli, więc nie widzi interfejsu, który nie publikuje drzewa dostępności”, a stron internetowych nie automatyzuje w ogóle, zostawiając to towarzyszącemu narzędziu przeglądarkowemu.

Dwie powierzchnie, dwa zestawy problemów

Ten podział ma znaczenie, bo strona internetowa automatyzacji agentowej jest dziś polem walki prawnej. W poniedziałek 2 listopada New York Times pozwał Brave, twierdząc, że firma przeglądarkowa zeskrobała jego treści chronione prawem autorskim i rozdystrybuowała je firmom AI, które pozew wymienia: Anthropic, Perplexity, Mistral, xAI i Cohere, podał TechCrunch. The Daily News, Chicago Tribune i Orlando Sentinel złożyły podobny pozew tego samego dnia w sądzie federalnym na Manhattanie.

Według relacji TechCruncha z pozwu Times porównuje Brave do „dostawcy, dealera i dystrybutora skradzionych treści chronionych prawem autorskim”. Pozew mówi, że firma zbudowała indeks ponad 30 000 000 000 stron internetowych za pomocą niezidentyfikowanego crawlera, którego wydawcy nie mogli zablokować. Dotyczy też funkcji Brave omijającej paywalle oraz praktyki blokowania reklam wydawców przy sprzedawaniu własnych. Brave, założony w 2015 roku, pozyskał do tej pory około 250 mln dolarów, według śledzących rynek prywatny, na które powołuje się TechCrunch. Times domaga się zakazu i odszkodowania.

Czytane razem, obie historie opisują to samo napięcie z przeciwnych stron. Automatyzacja desktopu przez drzewo dostępności zostaje w aplikacji, którą użytkownik już uruchamia. Automatyzacja sieci przekracza granice wydawców, a rachunek za to trafia do sądu.

Kto płaci za tokeny

Koszt to drugie ograniczenie, a dossier podaje dla niego liczbę. Garry Tan, CEO Y Combinator, powiedział w podcaście Waltera Isaacsona The Builders, w odcinku, który według TechCruncha miał się ukazać we wtorek, że wydaje „około może 100 000 do 200 000 dolarów rocznie na tokeny”. Prowadzi wewnętrznego agenta YC o nazwie Stray Light, który trzyma kontekst o każdym założycielu, jakiego wsparł akcelerator. Jego osobisty agent, jak mówił, przeczytał jego maile, Dropboxa i Apple Notes z ostatnich 20 lat.

Tan uważał na odbiór. „To teraz zbyt drogie”, powiedział, nazywając własne wydatki „szalonym przywilejem, na który nie każdego stać”. To wyznanie niezręcznie sąsiaduje z twierdzeniami dostawców. Momentic, firma z YC W24, która zadebiutowała na Hacker News 2 listopada, reklamuje na swojej stronie 77 813 utworzonych testów, 70 607 819 wykonanych przebiegów testowych i 117 010 złapanych błędów. Sprzedaje testy w YAML po angielsku, które agent kodujący może napisać przez MCP.

Dowody są cieńsze niż marketing

Niezależne pomiary znaleźć trudniej. MIT Technology Review opublikowało 2 listopada wyniki ankiety, według których 48% wniosków generowanych przez agentów analitycznych prowadzi do działań poprawiających biznes, wobec 37% rok wcześniej. Brak kontekstu biznesowego wskazało 55% kadry kierowniczej jako główny powód słabych wyników. Tekst zawiera zastrzeżenie: powstał w dziale treści sponsorowanych wydawcy, nie w redakcji.

Prace naukowe są jeszcze ostrożniejsze. Artykuł przesłany do arXiv 30 października przez Akshata Janiego, Sakhinanę Sagara Srinivasa i Venkataramanę Runkana sprawdzał, czy agenci potrafią zbudować kompletne, wykonywalne specyfikacje JSON do tworzenia geometrii, siatkowania, rozwiązywania równań różniczkowych cząstkowych i eksportu. Na 120 żądaniach związanych z szablonami pełny przepływ pracy osiągnął 98,3% poprawnych specyfikacji i decyzji w pierwszej turze, wobec 92,5% dla pojedynczego strzału wspomaganego schematem i 82,5% dla samego modelu, bez fałszywych decyzji o gotowości wśród 42 żądań wymagających wyjaśnienia lub odrzucenia. Ale tylko 9 z 12 testów na żywo od użytkownika do wyników zaliczyło jednocześnie specyfikację, wykonanie, eksport i zgodność z referencją numeryczną, czyli 75,0%, a autorzy wskazują regresje przy świeżych odpowiedziach jako problem spójności.

Tę lukę, niemal doskonałą na szablonach i trzy na cztery na żywych żądaniach, warto zapamiętać. Narzędzia takie jak agent-desktop usuwają część trybów awarii, bo nie zgadują: udane działanie nie dowodzi, że interfejs się zmienił, więc pętla kończy się odczytem.

Badania nad zgodnością idą w podobnym kierunku. MIT Technology Review podało 3 listopada, że naukowcy sięgają po „odwrotną teorię gier”, czyli projektowanie mechanizmów, żeby kształtować bodźce agentów zamiast zaglądać do wnętrza modeli. Powołuje się na preprint ekonomisty MIT Stephena Morrisa i współpracowników z Yale i Columbia o wzajemnym sprawdzaniu agentów, które ma powstrzymać sandbagging. Morris powiedział wydawcy, że „agenci AI bardzo dobrze rozumieją, co mogą osiągnąć inni agenci AI”.

Nic z tego nie rozstrzyga, czy agentom można zaufać przy przeglądarce. Sugeruje natomiast, że branża przestała pytać, czy agenci potrafią klikać, a zaczęła pytać, co wolno im widzieć.