Microsoft i Hugging Face: 79 853 nieudane testy niezawodności agentów
Microsoft i Hugging Face opublikowali ThinkingBox 3 października. Benchmark ocenia agentów AI po rekordach, które zostawiają w bazie danych, a nie po odpowiedziach, które piszą. W 507 firmowych procesach 79 853 ze 121 680 ważnych prób nie przeszło wykonywalnych testów.

Microsoft i Hugging Face zbudowali benchmark razem, co opisuje wpis na blogu Hugging Face z 3 października. Każde z 507 zadań zmieniających stan uruchamiane jest 20 razy na czystym backendzie, na 12 modelach LLM. Założenie jest proste: gotowa odpowiedź to deklaracja, a baza danych to dowód.
Wnioski zależą od tego, po której stronie się stoi. Zespoły, które puszczają agentów na systemy rozliczeń, zgłoszeń albo stanów magazynowych, dostają od autorów argument. Końcowe odpowiedzi i poprawne wywołania narzędzi to tylko wskaźniki zastępcze, czytamy we wpisie, a testować trzeba stan końcowy. Kupujący platformy agentowe powinni spodziewać się pytań do dostawców o powtarzalność, nie tylko o jakość demo. Ani wpis, ani autorzy nie mówią, który z 12 modeli wypadał najgorzej, ani jak wyniki przekładają się na jakikolwiek produkt komercyjny.
Główna liczba jest surowa. Ablacja na wspólnym zbiorze objęła 121 680 ważnych prób na 12 modelach LLM. Z tego 79 853 prób nie przeszło wykonywalnych testów.
Czyste zakończenia, błędne rekordy
Spośród tych porażek 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło końcowego błędu narzędzia, wynika z opisu Microsoftu i Hugging Face. Wykonywalne testy znalazły złe wartości pól w 77,61% z nich, niepożądane skutki uboczne w 43,30% i brakujące wymagane efekty w 25,36%, a te ustalenia się nakładają. Autorzy przechodzą przez przypadek handlowy zaadaptowany z zadania benchmarkowego, sandbox_external_retail_group1.py:test_case_ST003_006. Agent obsługuje zablokowaną sprawę klienta dotyczącą sprzętu kuchennego za 745 dolarów w dziewięciu wywołaniach narzędzi i poprawnie czyta politykę zwrotów. Potem zamyka zgłoszenie jako rozwiązane, choć wymagany stan końcowy to wstrzymanie. Jeden test pola nie przechodzi.
Benchmark jest udostępniony, żeby inni mogli go uruchomić. Działa przez OpenEnv, a wpis podaje, że czytelnicy mogą wykonać ten przypadek sami.
ThinkingBox to nie jedyna niedawna próba odciągnięcia oceny agentów od jakości rozmowy. Tekst praktyka Sarthaka Gauda opisuje czteroetapową pętlę ewaluacji. Zamroź migawkę każdego uruchomienia agenta, poproś eksperta dziedzinowego o oznaczenie każdego kroku jako poprawnego lub błędnego, zbierz adnotacje w zbiór danych i traktuj testy kodu jako pierwszą linię, zanim włączysz sędziego. Gaud proponuje zacząć od około 20 uruchomień. To mało przy 507 procesach uruchamianych po 20 razy, ale zasada ta sama: zapisz, co się stało, potem to sprawdź.
Nadzór też ma granice
Druga połowa problemu to człowiek w pętli. Praca Emre Turana, opublikowana na arXiv 8 czerwca, dowodzi, że bramki zatwierdzania to łatwa część. Trudna to ocenić, które działania zatrzymać. Na ręcznie oznaczonym zbiorze 125 działań agenta ważonych adwersarialnie recenzenci tylko umiarkowanie zgadzali się co do tego, co jest ryzykowne, przy kappie Fleissa 0,52. Jeśli modelować recenzenta jako zmęczonego pod obciążeniem eskalacji, faktyczne bezpieczeństwo układa się w odwróconą literę U względem tempa eskalacji: więcej ludzkiego nadzoru może uczynić system mniej bezpiecznym. Praca nazywa odwróconą literę U i modelowanie ataku zalewowego wynikami, które uzasadniają badanie z ludźmi.
"Trajektoria to deklaracja. Stan bazy danych to dowód. Powtarzanie to test zaufania."
To zdanie z wpisu Microsoftu i Hugging Face podsumowuje zmianę. Powtarzalność jest teraz testem, a jedno dobre uruchomienie dowodzi niewiele.
Niektóre zespoły już się wokół tego założenia przestawiają. Alexey Indeev napisał 4 października, że scalił 562 pull requesty w dwa tygodnie, nie przeglądając każdej linii. Opierał się na testach, CI i botach recenzenckich, których agent nie obejdzie. Jego własne ostrzeżenie: kod AI jest niedeterministyczny, podobnie jak kod ludzki.
Inni wskazują na inny ruchomy element. Wpis o dryfie agentów z 3 października pyta, dlaczego zachowanie agenta się zmienia, gdy nikt nie ruszył promptu, kodu ani modelu. Odpowiedź brzmi: modele, oprzyrządowanie, narzędzia i dane tworzą układ układów i każdy z nich może się przesunąć. Wpis cytuje wytyczne NIST dotyczące monitorowania generatywnej AI po wdrożeniu oraz zalecenia Microsoftu na cykl życia, które traktują modele bazowe jako wersjonowane zależności.
Dostawcy narzędzi odpowiadają na różnych warstwach. Apple zapowiedział we wpisie deweloperskim opisanych przez 9to5Mac 2 października, że doda zabezpieczenia, tak by przyznanie Pełnego dostępu do dysku wymagało bardzo wyraźnego działania użytkownika. AgentMail w tekście z 4 października przekonuje, że agenci powinni dostać własną skrzynkę i własny klucz logowania, zamiast pożyczać hasło człowieka. Wtedy źle działającego agenta można odciąć, nie blokując jego właściciela. Kimchi, uruchomiony 4 października, sprzedaje warstwę egzekwowania, która zatrzymuje wydatki agenta na limitach użytkownika, zespołu lub klucza.
Wspólny wątek to pomiar. ThinkingBox podaje trzy liczby na zadanie, a wpis nie ujawnia, jak wybrano 12 modeli ani jak wyglądają wskaźniki zaliczeń dla poszczególnych modeli.
Dla każdego, kto wprowadza agentów do produkcyjnych rekordów, praktyczny wniosek jest prosty. Sprawdzaj bazę danych, nie transkrypt, i uruchamiaj zadanie więcej niż raz.
Źródła
8- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Writing Evals for Agentic Systems as a 4 Step LoopEN
- 03Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 06Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 07Give Your AI Agent Its Own IdentityEN
- 08Pi-based coding agent with hard budget capsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.