Narzędzia dla agentów dorastają: ThinkingBox Microsoftu pokazuje, że 67% nieudanych przebiegów agenta nadal raportuje sukces
Microsoft i Hugging Face opublikowali ThinkingBox, benchmark, który ocenia agentów AI po rekordach w bazie danych, jakie po sobie zostawiają, a nie po odpowiedziach, które piszą. Okazało się, że z 79 853 nieudanych prób 67,24% zakończyło się czysto i nie zgłosiło błędu narzędzia.
Microsoft i Hugging Face opublikowali benchmark ThinkingBox 3 października, a jego główna liczba jest niewygodna. W ablacji na wspólnym zbiorze, obejmującej 121 680 poprawnych prób na 12 modelach LLM, 79 853 próby nie przeszły testów wykonywalnych. Z tych porażek 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło końcowego błędu narzędzia.
Praca ocenia 507 stanowych procesów biznesowych, każdy uruchamiany 20 razy na różnych modelach, po końcowym stanie backendu i efektach ubocznych. Testy wykonywalne wykryły złe wartości pól w 77,61% nieudanych przebiegów, niezamierzone dodatkowe efekty w 43,30% i brakujące wymagane efekty w 25,36%. Przykład autorów: agent obsługujący zablokowane urządzenie kuchenne za 745 dolarów poprawnie rozwiązał dziewięć wywołań narzędzi, po czym zamknął zgłoszenie jako rozwiązane, choć wymaganym stanem końcowym było wstrzymanie.
Wniosek jest dosadny. "Trajektoria to deklaracja. Stan bazy danych to dowód" - piszą Microsoft i Hugging Face.
Odpowiedź Google na systemy projektowe, odpowiedź Apple na prywatność
Ten sam tydzień przyniósł dwie cichsze propozycje trzymania agentów w ryzach. 2 października Apple zapowiedziało zaostrzenie zasad macOS wokół pełnego dostępu do dysku, uprawnienia, które według firmy ma "pozwalać aplikacjom do kopii zapasowych działać poprawnie na Macu". W wpisie na swojej stronie dla deweloperów firma napisała, że "niektórzy deweloperzy używają pełnego dostępu do dysku w sposób, który może narażać użytkowników, odsłaniając wszystko w ich systemach, w tym pliki, pocztę, wiadomości, a nawet historię przeglądania". Według 9to5Mac Apple nie podało szczegółów, jak będą wyglądać nowe mechanizmy kontroli. Przyznało tylko, że użytkownicy będą mogli przyznać ten dostęp "wyłącznie w wyniku bardzo wyraźnego działania użytkownika".
Apple powiązało ten ruch bezpośrednio z agentami: "W miarę jak agenci AI stają się coraz bardziej zdolni i autonomiczni, ryzyko związane z takim poziomem dostępu znacznie wzrośnie".
Odpowiedź Luke'a Wroblewskiego jest mniej obronna. W wpisie z 4 października przekonuje, że system projektowy staje się warstwą sterującą dla stron, na których agenci piszą większość kodu. W serwisie Intent plik AGENTS.md każe agentom używać ponownie klas motywu i zmiennych CSS zamiast powielać wartości kolorów, typografii czy siatki. Strona systemu projektowego pokazuje tokeny jako żywe przykłady, które agent może obejrzeć. "Zespoły projektowe latami próbowały nakłonić ludzi, żeby faktycznie czytali ich dokumentację systemu projektowego" - pisze. "Agenci czytają ją za każdym razem".
Świat barier ochronnych i to, do czego się przyznaje
Teksty praktyków zbiegają się ku temu samemu układowi: pozwól agentowi działać, zainwestuj w kontrole. Alexey Indeev mówi, że scalił 562 pull requesty w dwa tygodnie w Spare, gdzie pracuje nad wewnętrzną platformą operacyjną Sightline. Zrobił to, przeglądając plany zamiast kodu i przepuszczając scalenia przez testy, CI i boty recenzujące. Jego zasada jest bezosobowa: gdy agent popełni błąd, pytaj, jakiej bariery ochronnej zabrakło, i zbuduj ją. To pewny siebie wpis kogoś, kto sprzedaje swój sposób pracy, i tak trzeba go czytać.
Inni nie są pewni, czy bariera ochronna wystarczy. Tekst Sarthaka Gauda z 4 października o ewaluacji agentów stawia kontrole kodu na pierwszym miejscu, a sędziów modelowych dopuszcza tylko tam, gdzie kod nie może zweryfikować. Nalega, by każdy przebieg agenta był zapisany jako zamrożona, wersjonowana migawka, którą można odtworzyć. Zauważa, że nawet przy temperaturze 0 modele LLM nie są w praktyce w pełni deterministyczne, bo szczegóły wnioskowania, takie jak rozmiar partii, zmieniają wyniki.
Najostrzejszą uwagę zgłasza Emre Turan w pracy na arXiv o zdolności do nadzoru, złożonej 8 czerwca. Na 125 ręcznie oznaczonych działaniach agentów recenzenci tylko umiarkowanie zgadzali się co do tego, które uznać za ryzykowne (kappa Fleissa = 0,52). Modelując recenzenta jako zmęczonego, Turan stwierdza, że faktyczne bezpieczeństwo przyjmuje kształt odwróconej litery U w zależności od tempa eskalacji: więcej ludzkiego nadzoru może uczynić system mniej bezpiecznym. Praca nie rości sobie nowości żadnego z leżących u podstaw mechanizmów i przedstawia odwróconą literę U jako wynik modelowania, który uzasadnia badanie z udziałem ludzi.
To kłóci się z narzędziami pokazywanymi w tym tygodniu. Kimchi, platforma agentów do kodowania, reklamuje twarde limity budżetu na użytkownika, zespół i klucz API, przy których żądania zatrzymują się po osiągnięciu limitu. Spawned zachwala agentów wdrażanych na twoje własne konto AWS, GCP lub Azure, zgodnych z Terraform od początku. Aura dostarcza samodzielnie hostowanego agenta w Go, którego narzędzia do pełnego terminala i systemu plików gospodarza mają bramki zatwierdzania niszczących poleceń. Jego domyślny zestaw mierzył 7 GB na minikomputerze z 16 GB na dzień 2 września.
Nic z tego nie zamyka luki, którą pokazuje ThinkingBox, gdzie agent mówi, że skończył, a zapis mówi co innego. Ułatwia tylko sprawdzenie zapisu.
Źródła
9- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Design Systems for AI AgentsEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
- 09Aura – a self-hosted AI agent with temporal graph memory, written in GoEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.