Agenty uczą się korzystać z sieci, a sieć uczy się na nich zarabiać
3 października Marko Denic opublikował praktyczny przewodnik po WebMCP, eksperymencie Chrome, który zamienia zwykły formularz HTML w narzędzie wywoływalne przez agenty AI za pomocą trzech atrybutów. Publikacja wpisuje się w szerszy spór o to, kto kontroluje automatyzację przeglądarki.
3 października deweloper Marko Denic opublikował omówienie WebMCP, eksperymentu Chrome, który pozwala stronie udostępnić swoje funkcje agentom AI jako nazwane narzędzia z typowanymi danymi wejściowymi, zamiast zmuszać agenta do zgadywania po wyrenderowanym interfejsie. Według Denica w prostym formularzu wyszukiwania zmiana to trzy atrybuty: toolname, tooldescription i toolautosubmit.
Denic nie owija w bawełnę. Agent obsługujący zwykłą stronę „wygląda jak ktoś, kto pracuje myszką w rękawicach kuchennych”. Czyta ekran, zgaduje, które pole służy do wyszukiwania, zgaduje, który przycisk zatwierdza, i znowu czyta ekran, żeby sprawdzić wynik. Każde takie zgadywanie może się pomylić.
WebMCP to wciąż próba, nie standard
Denic uważa na ograniczenia. WebMCP jest eksperymentem w Chrome i samo dodanie atrybutów nie wystarcza: bez tokenu origin trial obiekt document.modelContext istnieje tylko u użytkowników, którzy włączyli odpowiednią flagę, a przywoływana próba działa na Chrome 149. Przeglądarki, które nie znają tych atrybutów, po prostu je ignorują, więc dla wszystkich innych zostaje strona w takiej postaci, w jakiej była dotąd.
Ciekawszy szczegół dotyczy tego, gdzie mieszka narzędzie. W przypadku formularzy przeglądarka wyprowadza schemat z samego znacznika. W pozostałych przypadkach, na przykład kalkulatora albo konfiguratora, strona rejestruje narzędzie z poziomu JavaScriptu, podając nazwę, opis, schemat danych wejściowych i funkcję execute. W przykładzie Denica execute prowadzi do tej samej funkcji, którą wywołują suwaki, więc człowiek i agent idą jedną ścieżką kodu. Autor radzi też wyłączać toolautosubmit wszędzie tam, gdzie coś się wysyła, kupuje albo usuwa, żeby użytkownik nadal potwierdzał operację.
To jedna odpowiedź na problem automatyzacji przeglądarki: uczynić stronę czytelną, zamiast czynić agenta mądrzejszym. Nie jest to jedyna odpowiedź w obiegu ani ta, za którą stoi najwięcej pieniędzy.
Praca przenosi się do warsztatu
W tekście z 4 października Tim Waldin przekonuje, że głównym ograniczeniem nie jest postrzeganie, ale miejsce, w którym ląduje efekt pracy agenta. Cytuje Andreja Karpathy'ego, który napisał w piątek, że „będziemy spędzać znacznie więcej czasu, próbując zrozumieć wyniki działania modeli językowych”, a więcej pracy „przeniesie się na wyższe poziomy abstrakcji, ku nadzorowi i zrozumieniu”. Waldin narzeka, że diagram albo wyjaśnienie w HTML-u wygenerowane przez agenta przewija się w transkrypcie czatu, więc reprezentacja systemu nigdy tak naprawdę nie staje się częścią rozmowy o nim. Jego aplikacja easl daje każdemu repozytorium nieskończoną tablicę, na której obok siebie leżą terminale, kafelki kodu, przeglądarki i notatki, a kliknięcie z hiper-klawiszem dodaje wskazany element do następnego promptu.
To twierdzenie projektowe, nie wynik pomiaru, i tak trzeba je czytać. Zgadza się jednak z tym, co praktycy raportują gdzie indziej. Alexey Indeev napisał 4 października, że scalił 562 pull requesty w dwa tygodnie, spędzając cztery z tych nocy na wędrówkach. Jego proces opiera się teraz na agencie koordynatorze, który sam nic nie robi i deleguje zadania podagentom, a scalanie przechodzi przez testy, CI i boty recenzyjne. Indeev mówi wprost, że modele zmieniły się niedawno, zwłaszcza Opus 5.5, i że jeszcze kilka tygodni wcześniej nie poleciłby tego podejścia.
Co mówią kontrole stanu
Najkonkretniejsza liczba w tym zestawie pochodzi od Microsoftu i Hugging Face. Wspólny wpis opublikowany 3 października opisuje ThinkingBox, benchmark 507 stanowych procesów biznesowych, z których każdy uruchamiano 20 razy na różnych modelach. Ocena dotyczy końcowego stanu backendu i skutków ubocznych, jakie agent zostawia, a nie zdania, które zwraca. W ablacji na wspólnym zbiorze, obejmującej 121 680 prawidłowych prób na 12 modelach, 79 853 próby nie przeszły kontroli wykonywalnych. Z tych niepowodzeń 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło końcowego błędu narzędzia.
Ilustracyjny przypadek to sprzęt kuchenny za 745 dolarów, który utknął z wyjątkiem kurierskim w centrum dystrybucyjnym w Nashville, piętnaście dni po szacowanej dacie dostawy. Agent wykonał dziewięć wywołań narzędzi, dwa razy przeczytał zasady zwrotu, słusznie uznał, że klientka nie kwalifikuje się do rekompensaty za opóźnioną dostawę, a potem zamknął zgłoszenie jako rozwiązane, choć wymaganym stanem końcowym było wstrzymanie, i nigdy nie odpowiedział na jej pytanie. Kontrole wykonywalne wykryły błędne wartości pól w 77,61% pozornie czystych niepowodzeń, niezamierzone dodatkowe skutki w 43,30% i brak wymaganych skutków w 25,36%.
Trajektoria to twierdzenie. Stan bazy danych to dowód. Powtarzalność to test zaufania.
To zdanie z wpisu Microsoftu i Hugging Face jest najostrzejszą rzeczą, jaką w tym tygodniu napisano o ocenie agentów. Podważa też sporą część kultury demonstracji: poprawnie sformułowane wywołanie narzędzia to nie to samo co właściwy wynik, a jedno udane uruchomienie to nie to samo co powtarzalne.
Uprawnienia i dryf
Apple ruszył w stronę uprawnień. W wpisie na swoim portalu dla deweloperów, o którym 2 października poinformował 9to5Mac, firma podała, że niektórzy deweloperzy używają Full Disk Access, ustawienia przeznaczonego dla aplikacji do kopii zapasowych, w sposób, który może odsłaniać „wszystko, co jest w ich systemach, w tym pliki, pocztę, wiadomości, a nawet historię przeglądania, bez pełnej wiedzy i świadomości użytkowników”. Apple zapowiedział, że doda mechanizmy kontroli, tak aby przyznanie tego dostępu wymagało „bardzo wyraźnego działania użytkownika”, i powiązał zmianę z tym, że agenty AI stają się „coraz bardziej zdolne i autonomiczne”. Nie podał, jakie to mechanizmy ani kiedy wejdą.
Tymczasem awaria, której nie wychwyci żadne okno uprawnień, to dryf. W czwartej części cyklu o ryzyku związanym z AI, opublikowanej 3 października, blog sdarchitect pyta, dlaczego zachowanie agenta się zmienia, choć nikt agenta nie zmieniał. Nie wdrożono nowego promptu, nie ruszono kodu, system kontroli zmian jest czysty, a agent, który działał w zeszłym miesiącu, teraz eskaluje decyzje, które wcześniej podejmował sam. Wpis przypisuje to całemu układowi modeli, warsztatów, narzędzi i innych agentów, przywołuje wytyczne NIST dotyczące monitorowania po wdrożeniu i przekonuje, że skoro zachowanie może zmieniać się w sposób ciągły, to ocena też musi być prowadzona w sposób ciągły.
Praca na arXiv z czerwca, autorstwa Emre Turana, dodaje liczbę, która powinna skłonić do namysłu każdego, kto projektuje bramki zatwierdzeń. Na ręcznie oznaczonej próbce 125 działań agentów o wzmocnionej wadze adwersaryjnej recenzenci zgadzali się tylko umiarkowanie co do tego, które działanie jest ryzykowne, ze współczynnikiem kappa Fleissa 0,52. Gdy modelować recenzenta jako zmęczonego pod obciążeniem eskalacjami, faktyczne bezpieczeństwo przybiera kształt odwróconej litery U w funkcji tempa eskalacji: więcej nadzoru ludzkiego może uczynić system mniej bezpiecznym, a bramka optymalna pod kątem bezpieczeństwa eskaluje poniżej pełnej eskalacji.
Nic z tego nie czyni automatyzacji przeglądarki mniej użyteczną. Znaczy to tyle, że ciekawa inżynieria odeszła od zmuszania agenta do klikania przycisku. Trzy atrybuty Denica, wspólna tablica Waldina, kolejka scalania Indeeva i kontrole stanu ThinkingBox to próby obudowania modelu tym samym: powierzchnią, na której może działać, oraz dowodem, że działanie dotarło do celu. Strony i agenty nadal spierają się o to, kto tę powierzchnię zapewni.
Źródła
14- 01Let AI agents use your site with 3 HTML attributesEN
- 02your agent's diagrams need somewhere to liveEN
- 03I stopped reviewing my agents' code. Here's what I do insteadEN
- 04The Agent Said It Was Done. The Database Disagreed.EN
- 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing HumanEN
- 08Automatic iPhone reboot: Forensics firm allegedly stops timeEN
- 09Design Systems for AI AgentsEN
- 10Give Your AI Agent Its Own IdentityEN
- 11Launching: Nautilus - Run a coding agent from your phone, merge on your PCEN
- 12Aura - a self-hosted AI agent with temporal graph memory, written in GoEN
- 13Pi-based coding agent with hard budget capsEN
- 14Chalkboard and Avatar for AI AgentsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.