Agenci AI przestają być czatbotami, zaczynają psuć bazy danych

3 października Microsoft i Hugging Face opublikowały ThinkingBox, benchmark sprawdzający, czy agenci AI poprawnie wykonują procesy biznesowe. Wyniki są jednoznaczne. W serii 121 680 prób na 12 dużych modelach językowych 79 853 podejścia nie przeszły testów wykonawczych. Spośród tych porażek 67,24% zakończyło się bezbłędnie, wywołało narzędzie zmieniające stan i nie zgłosiło żadnego błędu końcowego. Agenci wyglądali na skutecznych. Dane były błędne.

„Trajektorja to twierdzenie. Stan bazy danych to dowód. Powtarzalność to test zaufania” – brzmi wspólny wpis na blogu.

Benchmark uruchamia każde zadanie 20 razy w izolowanych sesjach narzędzi MCP, aby mierzyć spójność, a nie jednorazowy sukces. To podejście wskazuje na fundamentalny błąd we wdrażaniu w przedsiębiorstwach: ufamy agentom na podstawie ich wypowiedzi konwersacyjnych, a nie ich wpływu operacyjnego. Metodyka przenosi fokus z tekstu generowanego przez model na faktyczne zmiany w systemie podstawowym. Wymusza porównanie narracji dostarczonej przez agenta z niezmienialnym rejestrem bazy danych. Ta różnica jest kluczowa dla każdej organizacji rozważającej wdrożenie autonomicznego oprogramowania w środowiskach produkcyjnych, gdzie błędy mają realne konsekwencje finansowe i operacyjne.

Rozbieżność między słowami a czynami

Rozważmy konkretny przykład z benchmarku. Klient miał kuchenne urządzenie za 745 dolarów utkniete w wyjątku kuriera przez piętnaście dni. Agent wykonał dziewięć wywołań narzędzi: pobrał zamówienie, sprawdził śledzenie, wyszukał profil, przeszukał politykę zwrotów i otworzył zgłoszenie. Następnie zamknął zgłoszenie jako rozwiązane i zapytał, czy może pomóc w czymś jeszcze. Agent był uprzejmy. Był też w błędzie. Wyjątek przewoźnika wciąż był otwarty, więc wymagany stan końcowy powinien wynosić „wstrzymane”. Klient nigdy nie otrzymał prawdziwej odpowiedzi. Baza danych nie zgadzała się z narracją agenta.

To nie jest drobny błąd. To fundamentalna awaria weryfikacji.

W ablacji zbioru wspólnego testy wykonawcze wykryły błędne wartości pól w 77,61% udanych pozornie podejść. Niezamierzone dodatkowe efekty pojawiły się w 43,30% przypadków, a brak wymaganych efektów w 25,36%. Te liczby sugerują, że standardowe metody oceny, często polegające na sprawdzeniu, czy wywołano narzędzie lub czy odpowiedź brzmiała sensownie, są niebezpiecznie niewystarczające. Traktują słowa agenta jako prawdę obiektywną, podczas gdy prawdą obiektywną jest stan systemu po działaniu agenta. Rozbieżność między postrzeganym sukcesem a faktyczną porażką to nie błąd zaokrąglenia, lecz systemowy punkt ślepy w naszym obecnym ocenianiu wydajności agentów.

Dlaczego obecne zabezpieczenia zawiodą

Rozwój systemów agentycznych wyprzedził rozwój skutecznych mechanizmów nadzoru. Artykuł złożony na arXiv w czerwcu 2026 roku, zatytułowany „Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human”, twierdzi, że standardowa brama zatwierdzania human-in-the-loop opiera się na dwóch fałszywych założeniach. Po pierwsze, że istnieje jedna poprawna definicja „ryzyka”. Po drugie, że człowiek-recenzent jest idealnym, nieskończenie dostępnym orakulum. Badanie wykazało, że recenzenci zgadzają się tylko umiarkowanie co do tego, co stanowi ryzykowne działanie, z wartością Fleiss' kappa wynoszącą 0,52. Ta subiektywność oznacza, że nadzór to nie tylko problem klasyfikacji, ale alokacji zasobów. Uwaga człowieka jest skończona, a wraz ze wzrostem obciążenia eskalacją realizowane bezpieczeństwo przyjmuje kształt odwróconej litery U. Więcej nadzoru ludzkiego może faktycznie uczynić system mniej bezpiecznym, jeśli recenzent jest zmęczony.

To teoretyczne ryzyko staje się praktyczną rzeczywistością.

Apple, na przykład, ogłosiło 2 października, że zaostrza kontrole prywatności w macOS w obliczu wzrostu liczby agentów AI. Firma stwierdziła, że niektórzy deweloperzy używają pełnego dostępu do dysku w sposób, który może narażać użytkowników na ryzyko, ujawniając pliki, pocztę, wiadomości i historię przeglądania bez pełnej wiedzy użytkownika. „W miarę jak agenci AI stają się coraz bardziej kompetentni i autonomiczni, ryzyka związane z tym poziomem dostępu będą znacznie rosnąć” – napisała Apple na blogu dla deweloperów. Firma planuje wprowadzić dodatkowe kontrole, aby użytkownicy mogli udzielić tego nadzwyczajnego dostępu tylko za pomocą bardzo wyraźnego działania. Ten ruch uznaje, że obecny model uprawnień jest nieodpowiedni dla agentów, którzy potrzebują szerokiego dostępu do systemu, aby działać.

Narzędzia na lukę w weryfikacji

Gdy rozbieżność między intencją agenta a jego działaniem się powiększa, pojawiają się nowe narzędzia adresujące potrzebę weryfikacji i kontroli. Jednym z trendów jest odejście od przeglądania linii kodu na rzecz przeglądania intencji i zabezpieczeń. Alexey Indeev, pracujący nad platformą operacyjną w Spare, zgłasza scalenie 562 pull requestów w dwa tygodnie, używając przepływu, w którym ustawia intencję, planuje z agentem i polega na automatycznych zabezpieczeniach, takich jak testy CI i boty przeglądające. „Przeglądam plan, nie kod” – mówi Indeev. To podejście zakłada, że zabezpieczenia są wystarczająco mocne, aby wychwytywać błędy, które agent może popełnić. Przenosi rolę człowieka z inspekcji linia po linii do nadzoru strategicznego i zarządzania ryzykiem.

Inni deweloperzy tworzą interfejsy wizualne, aby pomóc ludziom zrozumieć, co robią agenci.

Tim Waldin zauważa, że w miarę jak modele wykonują więcej pracy, praca ludzi przesuwa się w kierunku rozumienia wyników. Wskazuje na sugestię Andreja Karpathy'ego, że będziemy spędzać więcej czasu na rozumieniu wyników modeli, prosząc o diagramy, strony internetowe lub filmy wyjaśniające. Waldin stworzył easl, natywną aplikację na Maca, która zapewnia powierzchnię, na której agenci i ludzie mogą dzielić się stanem, takim jak diagramy, kod i notatki, pozostającą widoczną i wskazującą. Podobnie projekt More Space zapewnia tablicę i awatara dla agentów terminalowych, pokazując ich plan, postępy i pytania w czasie rzeczywistym. Te narzędzia próbują uczynić niewidzialną pracę agentów widoczną, stanowiąc most między stanem wewnętrznym agenta a zrozumieniem człowieka.

Tożsamość i pamięć: nowa infrastruktura

Weryfikacja to tylko część zagadki. Agenci potrzebują również stabilnych tożsamości i niezawodnej pamięci, aby skutecznie działać w środowiskach przedsiębiorstw. Udostępnianie agentowi AI hasła to powszechny skrót, ale tworzy koszmar bezpieczeństwa. Jeśli agent zacznie się źle zachowywać, jedynym sposobem na odcięcie go jest zmiana własnego logowania. AgentID, od AgentMail, proponuje rozwiązanie: daj agentowi własną tożsamość, z własną skrzynką pocztową i kluczem logowania, podczas gdy ty jesteś zarejestrowany jako właściciel. Pozwala to aplikacjom rozróżniać człowieka od agenta i cofnąć dostęp agenta bez wpływania na konto człowieka. Promień rażenia kompromitowanego agenta ogranicza się do tego agenta, a nie do całego konta człowieka.

Pamięć to kolejny kluczowy komponent.

Artykuł Xinyuan Song i Zekun Cai, zatytułowany „Heavy-Tailed Memory Traces in Long-Horizon Agents”, twierdzi, że użycie pamięci w agentach podlega rozkładowi z ciężkim ogonem. Mały rdzeń pamięci jest dostarczany często, podczas gdy długi ogon rzadkich stanów jest dostępny rzadko. Przy skończonych oknach kontekstowych pamięć to nie neutralny rejestr, lecz mechanizm alokacji zasobów. Autorzy proponują kontroler CTWM (Core-Tail World Model), który alokuje budżet promptu według rankingu i steruje koncentracją jednym wykładnikiem. Pozwala to na lepsze zarządzanie zasobami pamięci, zapewniając, że ważne informacje nie są gubione przez obcinanie okien kontekstowych. Kod tej pracy jest dostępny na GitHub, co sygnalizuje przesunięcie w kierunku narzędzi open source do zarządzania złożonym stanem agentów o długim horyzoncie.

Konsekwencje dla przedsiębiorstw

Sektor przedsiębiorstw zmaga się z tymi wyzwaniami, integrując agentów w procesy produkcyjne. Ankieta VB Intelligence wykazała, że udział przedsiębiorstw ufających agentom AI w dokonywaniu zmian produkcyjnych samodzielnie spadł z 75% do 56%. Ten spadek odzwierciedla rosnącą świadomość ryzyk związanych z autonomicznym działaniem. Firmy zaczynają rozumieć, że strategia „ustaw i zapomnij” nie jest wykonalna dla agentów, którzy mogą modyfikować bazy danych, wykonywać kod i uzyskiwać dostęp do danych wrażliwych. Przechodzą do bardziej kontrolowanych środowisk, z rygorystycznymi zabezpieczeniami, ciągłym monitorowaniem i jasnymi strukturami odpowiedzialności.

Środowisko narzędziowe ewoluuje, aby sprostać tej potrzebie.

Platformy takie jak Kimchi oferują twarde limity budżetowe, atrybucję wydatków w czasie rzeczywistym i zerowy wyciek danych modelu, egzekwowane przed tym, jak żądanie trafi do modelu. Taki poziom kontroli jest niezbędny dla przedsiębiorstw, które muszą zarządzać kosztami i zapewniać prywatność danych. Spawned zapewnia interfejs infrastruktury chmurowej dla agentów, pozwalając im wdrażać realną infrastrukturę na konta AWS, GCP lub Azure. Dostarczając deklaratywny framework, Spawned pomaga zapobiegać błędnym konfiguracjom i zapewnia, że agenci działają w zdefiniowanych granicach. Te narzędzia odzwierciedlają szerszy trend traktowania agentów jako odrębnych bytów operacyjnych, z własnymi budżetami, tożsamościami i uprawnieniami, a nie jako rozszerzeń użytkowników ludzkich.

Ścieżka do przodu wymaga zmiany nastawienia. Musimy przestać traktować agentów jako magiczne orakula i zacząć traktować je jako systemy oprogramowania, które wymagają rygorystycznego inżynierowania, testów i nadzoru. Benchmark ThinkingBox to pierwszy krok w tym kierunku, dostarczając sposób na zmierzenie rozbieżności między twierdzeniami agenta a jego działaniami. W miarę jak ta rozbieżność staje się bardziej widoczna, rozwój narzędzi weryfikacyjnych, systemów tożsamości i frameworków zarządzania pamięcią przyspieszy. Trajektorja AI w przedsiębiorstwach nie zostanie określona przez to, jak mądrzy są agenci, ale przez to, jak dobrze możemy je weryfikować, kontrolować i rozumieć. Era ślepego zaufania dobiegła końca. Era audytowanej agencyjności się rozpoczęła.