Microsoft i Hugging Face: agenci zawodzą w 35% zadań firmowych
Microsoft i Hugging Face przepuścili 507 firmowych procesów przez test ThinkingBox. Agenci oblali sprawdziany wykonywalne w 79 853 z 121 680 ważnych prób. W 67,24% tych porażek odpowiedź była czysta, a narzędzie nie zgłosiło błędu.

Microsoft i Hugging Face opublikowały ThinkingBox 3 października. Benchmark ocenia agentów po rekordach, które zostawiają w bazie danych, a nie po zdaniach, które odpisują. Główna liczba jest bezlitosna. W ablacji wspólnego zbioru, obejmującej 121 680 ważnych prób na 12 modelach LLM, 79 853 podejścia oblały sprawdziany wykonywalne. Praca ukazała się przez Hugging Face, razem z nią wydano artykuł.
Dla kupujących i wdrażających agentów zmienia się jednostka dowodu. Autorzy twierdzą, że gładka odpowiedź końcowa i poprawnie zbudowane wywołanie narzędzia to tylko pośrednie wskaźniki, i to słabe. Agent może brzmieć poprawnie, a wpisać zły status zgłoszenia, pominąć wymagany efekt uboczny albo dodać zbędny. Dla firm oznacza to, że testy odbiorcze oparte na transkrypcjach przepuszczą systemy, które po cichu psują rekordy. Ani Microsoft, ani Hugging Face nie powiedziały, jak benchmark trafi do bramek produktowych. Te 507 procesów to stały zestaw, nie spis zadań produkcyjnych.
Czysta odpowiedź nie znaczy czysty stan końcowy
Otwierający przykład benchmarku to sprzęt kuchenny za 745 dolarów, który utknął piętnaście dni po terminie dostawy w centrum dystrybucyjnym w Nashville. Agent wykonuje dziewięć wywołań narzędzi. Poprawnie czyta politykę zwrotów i ustala, że klient nie kwalifikuje się do rekompensaty za opóźnioną dostawę. Potem zamyka zgłoszenie jako rozwiązane. Wyjątek u przewoźnika nadal jest otwarty. Wymagany stan końcowy to wstrzymanie do czasu wyjaśnienia. Baza danych się nie zgadza.
Rozkład porażek jest najbardziej niewygodny dla zespołów, które już uruchamiają agentów. Spośród 79 853 nieudanych podejść 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło błędu końcowego narzędzia. Sprawdziany wykonywalne wykryły złe wartości pól w 77,61% tych przypadków, niezamierzone dodatkowe efekty w 43,30%, a brakujące wymagane efekty w 25,36%. Te ustalenia się nakładają i artykuł to przyznaje. Każde zadanie jest uruchamiane 20 razy z identycznego czystego backendu. Agent, który raz obsłuży zwrot, a cztery kolejne razy zawali, nie jest agentem do zwrotów.
Trajektoria to deklaracja. Stan bazy danych to dowód. Powtarzalność to test zaufania.
Autorzy wymieniają też zewnętrznych współpracowników: Tommy Guy z Enderis AI, wcześniej w Microsoft, oraz Sergio Paniego z Hugging Face, a także byłych stażystów Zhuochun Li, Ali Keramati i Youngmin Ko. Artykuł jest dostępny razem z wpisem na blogu. Przykładowe zadanie da się uruchomić jako sandbox_external_retail_group1.py:test_case_ST003_006, gdzie oblewany sprawdzian dotyczy jednego pola.
Apple bierze się za uprawnienie, o które proszą agenci
Osobno Apple poinformowało 2 października, że doda w macOS kontrolę nad Full Disk Access, uprawnieniem, które według firmy istnieje po to, by działały aplikacje do kopii zapasowych. W poście na stronie dla deweloperów Apple napisało, że "niektórzy deweloperzy używają Full Disk Access w sposób, który może narażać użytkowników, odsłaniając wszystko na ich systemach, w tym pliki, pocztę, wiadomości, a nawet historię przeglądania, bez pełnej wiedzy i zrozumienia użytkowników". 9to5Mac opisał tę zmianę tego samego dnia.
Apple nie podało szczegółów, jak nowe kontrole będą wyglądać ani kiedy wejdą. Powiązało jednak ten ruch wprost z agentami: "W miarę jak agenci AI stają się coraz bardziej zdolni i autonomiczni, ryzyko związane z takim poziomem dostępu znacznie wzrośnie". 9to5Mac wymienia Meta Muse i Dots od OpenAI jako agentów działających stale, którzy proszą o szeroki dostęp do danych osobowych. Dla firmowych flot Maców praktyczne pytanie brzmi, czy dodatkowe okno zepsuje skrypty konfiguracyjne. Apple tego nie powiedziało.
Tożsamość agentów przyciąga uwagę także na drugim końcu stosu. Propozycja AgentID od AgentMail, opublikowana 4 października, mówi, że danie agentowi własnego loginu oznacza, iż każda aplikacja zapisuje jego działania pod twoim nazwiskiem. Jedyny sposób, by to odciąć, to zmiana hasła. Alternatywa firmy daje agentowi własny adres skrzynki jako stały identyfikator, a człowieka zapisuje jako właściciela. Wpis jest materiałem sprzedażowym, a twierdzenia o bezpieczeństwie pochodzą od samej firmy. Problem jest wystarczająco realny, że Replit wdrożył śledzenie tożsamości poszczególnych agentów, według nagłówka z 27 października w prasie branżowej.
Nadzór ma koszt i limit
Bramka zatwierdzania przez człowieka, na której opiera się większość zespołów, ma własną arytmetykę. Artykuł Emre Turana, przesłany do arXiv 8 czerwca, oznaczył 125 działań agentów ważonych adwersaryjnie. Okazało się, że oceniający tylko umiarkowanie zgadzają się, które są ryzykowne, przy kappie Fleissa 0,52. Nie ma jednej poprawnej etykiety, na której można trenować. Co gorsza, gdy modeluje się zmęczenie oceniającego rosnącą liczbą eskalacji, faktyczne bezpieczeństwo rysuje odwróconą literę U: więcej eskalacji może uczynić system mniej bezpiecznym. Optymalna pod względem bezpieczeństwa osłona eskaluje poniżej pełnej eskalacji, co jest też ustawieniem, którego polityka świadoma obciążenia może użyć do odparcia ataku zalewowego. Sam artykuł ujmuje to tak, że nadzór jest problemem alokacji zasobów. Odwrócona litera U i wynik zalewu to według niego rezultaty modelowania, które uzasadniają badanie z ludźmi.
Tekst Sarthaka Gauda o ewaluacjach, opublikowany 4 października, stawia zgodny punkt od strony budowy. Systemów niedeterministycznych nie da się oceniać względem jednego stałego oczekiwanego wyniku. Dlatego stawia na pierwszym miejscu zwykłe sprawdziany kodu, na przykład czy baza danych skończyła w dobrym stanie albo czy wywołano właściwe narzędzie. Sędziego włącza tylko do tego, czego kod nie sprawdzi. Ostrzega też, że przebiegi agentów trzeba zamrażać i wersjonować, razem z narzędziami i odpowiedziami MCP, bo inaczej starych przebiegów nie da się odtworzyć. To ta sama lekcja co w ThinkingBox, tylko z innej strony: rekord jest testem.
Dryf przychodzi bez wdrożenia
Jest cichszy tryb porażki, którego nie wychwyci żaden pojedynczy przebieg. 3 października sdarchitect.blog opublikował czwartą część serii o ryzyku AI, pytając, dlaczego zachowanie agenta się zmienia, gdy nikt nie zmienił agenta. Bez nowego promptu, bez zmiany kodu, bez podmiany modelu, a pipeline wydania jest czysty. Odpowiedź wpisu brzmi: agent to system modeli, harnessów, narzędzi, danych, innych agentów i ludzi. Ruch w którymkolwiek z tych elementów zmienia wynik. Autor cytuje wytyczne NIST dotyczące monitorowania systemów generatywnej AI po wdrożeniu oraz wytyczne Microsoftu o cyklu życia, które traktują modele bazowe jako wersjonowane zależności.
Pięć wymiarów dryfu agenta według autora jest ze sobą powiązanych. Właśnie dlatego diagnoza jest trudniejsza niż czytanie diffa. Konsekwencja handlowa jest taka, że ciągła ewaluacja nie jest miłym dodatkiem dla zespołów wdrażających agentów na produkcję. To jedyny sposób, by zauważyć, że to, co zatwierdziłeś w zeszłym miesiącu, nie jest tym, co działa teraz.
Nic z tego nie zatrzymało wyścigu narzędzi. Kimchi, uruchomione 4 października, sprzedaje nadzorowanego agenta do kodowania z twardymi limitami budżetu na użytkownika, zespół i klucz API, a także śledzeniem wydatków na model i warstwą egzekwowania, która działa, zanim żądanie opuści środowisko. Spawned, również z 4 października, oferuje powierzchnię kontroli do wdrażania infrastruktury na własnym koncie AWS, GCP albo Azure klienta, z zasobami wersjonowanymi i zgodnymi z Terraformem. Oba adresują realną lukę: agenci, którzy działają, potrzebują budżetów i granic, które ludzie mogą audytować.
Wzorzec z tego tygodnia jest taki, że warstwa narzędzi dojrzewa szybciej niż warstwa dowodów. Benchmarki takie jak ThinkingBox podają liczbę na to, jak często agenci zostawiają zły rekord. Apple zaostrza uprawnienie, które pozwala im sięgać do dysku. Dostawcy tożsamości chcą, żeby agenci przestali pożyczać loginy ludzi. Nie wiadomo, czy firmy zapłacą za te dowody, czy będą dalej wdrażać na podstawie czystej odpowiedzi końcowej.
Źródła
8- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Give Your AI Agent Its Own IdentityEN
- 04Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.