Agenty AI przestają być chatbotami, zaczynają psuć bazy danych
Microsoft i Hugging Face opublikowały 3 października benchmark ThinkingBox. Wynika z niego, że 67% agentów AI twierdzi, iż skończyło zadanie, choć zostawia bazę danych w rozsypce. Rozziew między tym, co agenty mówią, a tym, co robią, rośnie.

3 października Microsoft i Hugging Face opublikowały ThinkingBox. To benchmark, który sprawdza, czy agenty AI poprawnie wykonują firmowe procesy. Wyniki są jednoznaczne. W 121 680 próbach na 12 dużych modelach językowych 79 853 podejścia nie przeszły testów wykonywalnych. Z tych niepowodzeń 67,24% zakończyło się czysto, wywołało narzędzie zmieniające stan i nie zgłosiło żadnego błędu na koniec. Agenty wyglądały na skuteczne. Dane były błędne.
„Trajektoria to deklaracja. Stan bazy danych to dowód. Powtórzenie to test zaufania” – piszą autorzy we wspólnym wpisie.
Benchmark uruchamia każde zadanie 20 razy na odizolowanych sesjach narzędzi MCP. Mierzy powtarzalność, nie pojedynczy sukces. Takie podejście obnaża słabość obecnych wdrożeń w firmach: ufamy agentom na podstawie ich odpowiedzi, a nie tego, co faktycznie zrobiły w systemie. Metodologia przenosi uwagę z tekstu, który generuje model, na rzeczywiste zmiany w systemie pod spodem. Zmusza do porównania opowieści agenta z niezmiennym zapisem w bazie. To rozróżnienie ma znaczenie. Organizacje wdrażają autonomiczne oprogramowanie w środowiskach produkcyjnych, gdzie błędy mają realne skutki finansowe i operacyjne.
Przepaść między słowami a czynami
Jeden przykład z benchmarku. Klient miał sprzęt kuchenny za 745 dolarów, który utknął w wyjątku kurierskim na piętnaście dni. Agent wykonał dziewięć wywołań narzędzi. Pobrał zamówienie, sprawdził śledzenie, zajrzał do profilu, przeszukał politykę zwrotów i otworzył zgłoszenie. Potem zamknął zgłoszenie jako rozwiązane i zapytał, czy może jeszcze w czymś pomóc. Agent był uprzejmy. Był też w błędzie. Wyjątek przewoźnika nadal był otwarty, więc wymaganym stanem końcowym powinno być wstrzymanie. Klient nigdy nie dostał prawdziwej odpowiedzi. Baza danych nie zgadzała się z opowieścią agenta.
To nie drobny błąd. To zasadnicze niepowodzenie weryfikacji.
W ablacji na wspólnym zbiorze testy wykonywalne wykryły złe wartości pól w 77,61% nieudanych prób, które wyglądały na udane. Niezamierzone efekty dodatkowe pojawiły się w 43,30% przypadków, a brakujące wymagane efekty w 25,36%. Te liczby sugerują, że standardowe metody oceny są niebezpiecznie niewystarczające. Często opierają się na sprawdzeniu, czy wywołano narzędzie albo czy odpowiedź brzmiała sensownie. Traktują słowa agenta jako prawdę, choć prawdą jest stan systemu po jego działaniu. Rozbieżność między pozornym sukcesem a rzeczywistą porażką nie jest błędem zaokrąglenia. To systematyczna martwa strefa w ocenie pracy agentów.
Dlaczego obecne zabezpieczenia zawodzą
Rozwój systemów agentowych wyprzedził powstawanie skutecznych mechanizmów nadzoru. Praca przesłana na arXiv w czerwcu 2026 roku przekonuje, że standardowa bramka zatwierdzenia przez człowieka opiera się na dwóch fałszywych założeniach. Nosi tytuł „Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human”. Po pierwsze, że istnieje jedna poprawna definicja „ryzykownego”. Po drugie, że recenzent jest doskonałą, nieskończenie dostępną wyrocznią. Badanie pokazało, że recenzenci tylko umiarkowanie zgadzają się co do tego, jakie działanie jest ryzykowne, przy kappie Fleissa 0,52. Ta subiektywność sprawia, że nadzór nie jest wyłącznie problemem klasyfikacji, ale też alokacji zasobów. Uwaga człowieka jest skończona. Gdy rośnie liczba eskalacji, faktyczne bezpieczeństwo przybiera kształt odwróconej litery U. Więcej nadzoru może uczynić system mniej bezpiecznym, jeśli recenzent jest zmęczony.
To teoretyczne ryzyko staje się praktyką.
Apple na przykład ogłosił 2 października, że zaostrza kontrolę prywatności w macOS wobec rosnącej liczby agentów AI. Firma podała, że niektórzy deweloperzy używają pełnego dostępu do dysku w sposób, który może narażać użytkowników. Taki dostęp odsłania pliki, pocztę, wiadomości i historię przeglądania bez pełnej wiedzy użytkownika. „Gdy agenty AI stają się coraz bardziej zdolne i autonomiczne, ryzyko związane z takim poziomem dostępu znacznie wzrośnie” – napisał Apple we wpisie na swojej stronie dla deweloperów. Firma planuje dodatkowe mechanizmy kontroli. Mają one zapewnić, że użytkownik przyzna ten nadzwyczajny dostęp wyłącznie bardzo wyraźnym działaniem. To przyznanie, że obecny model uprawnień nie pasuje do agentów, które do działania potrzebują szerokiego dostępu do systemu.
Narzędzia na tę lukę
Gdy rozziew między zamiarem agenta a jego działaniem się powiększa, pojawiają się nowe narzędzia do weryfikacji i kontroli. Jednym z trendów jest odejście od przeglądania linii kodu na rzecz przeglądania zamiaru i zabezpieczeń. Alexey Indeev, który pracuje nad platformą operacyjną w Spare, donosi o scaleniu 562 pull requestów w dwa tygodnie. Stosuje tryb pracy, w którym ustala zamiar, planuje z agentem i opiera się na automatycznych zabezpieczeniach, takich jak testy CI i boty recenzyjne. „Przeglądam plan, nie kod” – mówi Indeev. To podejście zakłada, że zabezpieczenia są wystarczająco mocne, by wychwycić błędy agenta. Przenosi rolę człowieka z przeglądania linijka po linijce na nadzór strategiczny i zarządzanie ryzykiem.
Inni deweloperzy budują interfejsy wizualne, żeby człowiek rozumiał, co robią agenty.
Tim Waldin zauważa, że gdy modele wykonują więcej pracy, praca człowieka przesuwa się w stronę rozumienia wyników. Wskazuje na sugestię Andreja Karpathy'ego, że będziemy spędzać więcej czasu na rozumieniu wyników modeli, prosząc o diagramy, strony internetowe czy filmy objaśniające. Waldin zbudował easl, natywną aplikację na Maca. Daje ona przestrzeń, w której agenty i ludzie dzielą stan, na przykład diagramy, kod i notatki, widoczny i możliwy do wskazania. Podobnie projekt More Space oferuje tablicę i awatara dla agentów terminalowych. Pokazuje ich plan, postęp i pytania na bieżąco. Te narzędzia próbują uczynić niewidoczną pracę agentów widoczną. Łączą wewnętrzny stan agenta z rozumieniem człowieka.
Tożsamość i pamięć: nowa infrastruktura
Weryfikacja to tylko część układanki. Agenty potrzebują też stabilnej tożsamości i niezawodnej pamięci, żeby skutecznie działać w firmach. Danie agentowi własnego hasła to częsty skrót, który tworzy koszmar bezpieczeństwa. Jeśli agent zacznie się źle zachowywać, jedynym sposobem na odcięcie go jest zmiana własnego loginu. AgentID od AgentMail proponuje rozwiązanie. Agent dostaje własną tożsamość, ze skrzynką i kluczem logowania, a ty jesteś zapisany jako właściciel. Aplikacje mogą odróżnić człowieka od agenta. Mogą też odebrać agentowi dostęp bez ruszania konta człowieka. Skutki przejęcia agenta ograniczają się do tego agenta, nie do całego konta człowieka.
Pamięć to drugi kluczowy element.
Praca Xinyuana Songa i Zekuna Caia pod tytułem „Heavy-Tailed Memory Traces in Long-Horizon Agents” przekonuje, że korzystanie z pamięci przez agenty ma rozkład gruboogonowy. Niewielki rdzeń wspomnień jest odczytywany często, a długi ogon rzadkich stanów rzadko. Przy skończonych oknach kontekstu pamięć nie jest neutralnym rejestrem, ale mechanizmem alokacji zasobów. Autorzy proponują kontroler o nazwie CTWM (Core-Tail World Model). Rozdziela budżet promptu według rangi i steruje koncentracją jednym wykładnikiem. Pozwala to lepiej zarządzać zasobami pamięci. Zapewnia, że ważne informacje nie przepadają przy obcinaniu okna kontekstu. Kod pracy jest dostępny na GitHubie. To sygnał zwrotu ku narzędziom open source do zarządzania złożonym stanem agentów długodystansowych.
Skutki dla firm
Firmy mierzą się z tymi wyzwaniami, wdrażając agenty do procesów produkcyjnych. Badanie VB Intelligence pokazało, że odsetek przedsiębiorstw ufających agentom AI na tyle, by same wprowadzały zmiany produkcyjne, spadł z 75% do 56%. Ten spadek odzwierciedla rosnącą świadomość ryzyka autonomicznych działań. Firmy dostrzegają, że „ustaw i zapomnij” nie jest realną strategią. Agenty mogą modyfikować bazy danych, wykonywać kod i sięgać po wrażliwe dane. Przedsiębiorstwa przechodzą do bardziej kontrolowanych środowisk, ze ścisłymi zabezpieczeniami, ciągłym monitorowaniem i jasnymi zasadami odpowiedzialności.
Środowisko narzędzi zmienia się, żeby tę potrzebę zaspokoić.
Platformy takie jak Kimchi oferują twarde limity budżetu, rozliczanie wydatków na bieżąco i zerowy przepływ danych modelu, egzekwowane zanim żądanie dotrze do modelu. Taki poziom kontroli jest niezbędny firmom, które muszą zarządzać kosztami i chronić prywatność danych. Spawned daje agentom interfejs do infrastruktury chmurowej. Pozwala im wdrażać rzeczywistą infrastrukturę na konta AWS, GCP lub Azure. Dzięki deklaratywnym ramom Spawned pomaga unikać błędnych konfiguracji i pilnuje, by agenty działały w wyznaczonych granicach. Te narzędzia odzwierciedlają szerszy trend. Agenty stają się odrębnymi jednostkami operacyjnymi, z własnymi budżetami, tożsamościami i uprawnieniami, a nie przedłużeniem ludzkich użytkowników.
Dalsza droga wymaga zmiany myślenia. Trzeba przestać widzieć w agentach magiczne wyrocznie. Trzeba zacząć widzieć w nich systemy oprogramowania, które wymagają rzetelnej inżynierii, testów i nadzoru. Benchmark ThinkingBox to pierwszy krok w tę stronę. Daje sposób mierzenia luki między deklaracjami agentów a ich działaniami. Gdy ta luka staje się bardziej widoczna, przyspieszy rozwój narzędzi weryfikacji, systemów tożsamości i ram zarządzania pamięcią. O przyszłości AI w firmach nie zdecyduje to, jak mądre są agenty. Zdecyduje to, jak dobrze potrafimy je weryfikować, kontrolować i rozumieć. Era ślepego zaufania się skończyła. Zaczęła się era audytowanej sprawczości.
Źródła
12- 01The Agent Said It Was Done. The Database Disagreed | Microsoft ThinkingBoxEN
- 02Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing HumanEN
- 03Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05your agent's diagrams need somewhere to liveEN
- 06Chalkboard and Avatar for AI Agents | More SpaceEN
- 07Give Your AI Agent Its Own IdentityEN
- 08CTWM: Heavy-Tailed Memory Traces in Long-Horizon AgentsEN
- 09Pi-based coding agent with hard budget capsEN
- 10Spawned: AIO cloud platform for humans and agentsEN
- 11Against Personal Agents Theory of Everything Why the Future of Work Is a FactoryEN
- 12Understanding Agent DriftEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.