Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

ThinkingBox Microsoftu: agenty zostawiają błędne rekordy, choć raportują sukces

Microsoft i Hugging Face opublikowały ThinkingBox 3 października. Benchmark ocenia agentów AI po rekordach, które zostawiają w bazie danych. Na 121 680 ważnych prób i 12 modeli 79 853 podejścia oblały jego wykonywalne testy.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 4 października 20264 min czytaniaŹródła 10
ThinkingBox Microsoftu: agenty zostawiają błędne rekordy, choć raportują sukces

Benchmark uruchamia 507 stanowych procesów biznesowych, każdy 20 razy, za każdym razem z identycznego, czystego backendu. Nie patrzy na to, co agent mówi, tylko na to, co zapisał: wartości pól, wymagane efekty i efekty uboczne. Paper Microsoftu powstał wspólnie z Hugging Face. Wpis na blogu z wynikami nosi datę 3 października.

Liczby porażek znaczą więcej niż odsetek sukcesów. Z 79 853 nieudanych podejść 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło błędu końcowego. Wykonywalne testy znalazły potem złe wartości pól w 77,61% takich przypadków. Niezamierzone dodatkowe efekty pojawiły się w 43,30%, a brak wymaganych efektów w 25,36%, przy czym kategorie się nakładają. Mówiąc wprost: to, że agent twierdzi, że skończył, nie jest dowodem, że cokolwiek zostało zrobione.

Przykład z paperu to klient, którego kuchenny sprzęt za 745 dolarów utknął w wyjątku kurierskim w centrum dystrybucyjnym w Nashville, piętnaście dni po szacowanej dacie dostawy.

Agent wykonał dziewięć wywołań narzędzi i dwa razy przeczytał politykę zwrotów. Sprawdził segment konta i słusznie ustalił, że klient nie kwalifikuje się do rekompensaty za opóźnioną dostawę. Potem zamknął zgłoszenie jako rozwiązane. Wymaganym stanem końcowym było wstrzymanie do czasu wyjaśnienia. Ta luka jest powodem, dla którego benchmark istnieje. Oceniający, który patrzy na wywołania narzędzi, widzi dziewięć poprawnie zbudowanych wywołań. Oceniający, który sprawdza, czy agent zapisał coś do bazy, też to widzi. Nie zgadza się tylko rekord, a rekord jest tym, czego doświadcza klient.

Dlaczego to ważne dla każdego, kto kupuje moce agentów

Przedsiębiorcy kupują dziś agenty za wykonane zadania. ThinkingBox przekonuje, że użyteczną jednostką jest powtarzalny stan końcowy. Każde zadanie w benchmarku idzie 20 razy z czystego backendu. Agent, który raz poprawnie obsłuży zwrot, a w czterech kolejnych podejściach go zepsuje, nie jest oceniany jako działający agent zwrotów.

Nadal nie wiadomo, jak te odsetki zmieniają się wraz z projektem stanowiska testowego, schematami narzędzi i wyborem modelu. Główne liczby sumują 12 modeli bez rozbicia na poszczególne modele w opublikowanym podsumowaniu.

Problem pomiaru przyciąga uwagę z kilku stron naraz. 8 czerwca Emre Turan opublikował na arXiv paper, w którym przekonuje, że bramki zatwierdzania przez człowieka to łatwa część bezpieczeństwa agentów. Na ręcznie oznaczonym zbiorze 125 działań agentów o wzmocnionej trudności oceniający zgadzali się tylko umiarkowanie co do tego, które działania są ryzykowne, przy kappa Fleissa 0,52. Turan modeluje oceniającego jako zmęczonego rosnącym obciążeniem eskalacjami. Dochodzi do wniosku, że bezpieczeństwo przybiera kształt odwróconej litery U względem odsetka eskalacji: więcej nadzoru człowieka może uczynić system mniej bezpiecznym. W swoim paperze nie przypisuje sobie autorstwa żadnego z tych mechanizmów i cytuje wcześniejsze prace, w tym FALCON i DeCCaF.

Dwie różne krytyki trafiają w ten sam słaby punkt.

ThinkingBox twierdzi, że końcowe odpowiedzi i poprawne wywołania narzędzi to tylko przybliżenia. Turan twierdzi, że ludzki recenzent nie jest nieskończenie dostępną wyrocznią. Obie wskazują na ten sam brakujący element: test, który się trzyma, gdy i agent, i jego nadzorca mogą się mylić.

Wyścig narzędzi wokół benchmarku

Dostawcy już sprzedają warstwę, którą testuje ThinkingBox. Kimchi, platforma agentów do kodowania zbudowana na Pi, reklamuje jedną warstwę egzekwowania dla wydatków, danych, wdrożeń i routingu modeli, z twardymi limitami na użytkownika, zespół, klucz API lub model. Własny marketing pokazuje budżet zespołu na poziomie 4 820 z 5 000 dolarów i użytkownika na poziomie 820 z limitu 800 dolarów, z twardym zatrzymaniem.

Spawned wybiera inną drogę. Tworzy infrastrukturę w koncie klienta w AWS, GCP albo Azure, z zasobami eksportowalnymi i zgodnymi z Terraformem. Na liście dostępnych ma Google Cloud i Kubernetes, a Azure w zamkniętej becie. Żadna z firm nie opublikowała niezależnych wyników, które pokazywałyby, czy te kontrole ograniczają tryby porażek mierzone przez ThinkingBox. Limity budżetu zatrzymują agenta, który ucieka z wydatkami. Nie zatrzymują go przed zapisaniem złego statusu zgłoszenia.

Agent może brzmieć poprawnie, a mimo to zostawić złą wartość, zmienić niewłaściwy rekord albo stworzyć dodatkowy efekt uboczny.

Apple poszedł w stronę dostępu. W poście na swojej stronie dla deweloperów firma napisała, że Full Disk Access w macOS w dużej mierze omija jej mechanizmy prywatności. Niektórzy deweloperzy używają go w sposób, który może narażać użytkowników, odsłaniając pliki, pocztę, wiadomości i historię przeglądania. Apple zapowiedział, że doda mechanizmy, dzięki którym użytkownicy przyznają ten dostęp wyłącznie w wyniku bardzo wyraźnego działania. Nie podał, czym te mechanizmy będą ani kiedy się pojawią.

Wspólny wątek benchmarku, paperu z arXiv i notki Apple'a jest taki, że wynik agenta trzeba sprawdzać względem czegoś spoza agenta. ThinkingBox stawia ten test na stanie backendu. Turan na zmierzonej krzywej eskalacji. Apple na monicie o uprawnienia. Żaden z nich nie zamyka tej luki sam.

Komentarze 0

Źródła

10
  1. 01The Agent Said It Was Done. The Database DisagreedEN
  2. 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
  3. 03Pi-based coding agent with hard budget capsEN
  4. 04Spawned: AIO cloud platform for humans and agentsEN
  5. 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
  6. 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
  7. 07Writing Evals for Agentic Systems as a 4 Step LoopEN
  8. 08I stopped reviewing my agents' code. Here's what I do insteadEN
  9. 09Let AI agents use your site with 3 HTML attributesEN
  10. 10Give Your AI Agent Its Own IdentityEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.