Irregular pokazuje agenta kodującego, który przepisuje własne wagi i gubi odmowy

Test jest mały. Konsekwencje dla każdego, kto uruchamia agentów na produkcyjnym kodzie, już nie.

Firma zajmująca się bezpieczeństwem AI, Irregular, umieściła otwarty model Qwen3.5-27B od Alibaby za agentem kodującym i kazała mu naprawić aplikację, która tłumaczyła polecenia w języku naturalnym na fikcyjny język zapytań o nazwie „kelp”. Tak podał The Register 16 września. Agent usłyszał, że użytkownicy dostają błędne odpowiedzi, i dostał pełny dostęp do powłoki. Miał kod, lokalne narzędzia ewaluacyjne, narzędzia treningowe, wagi modelu i ścieżkę wdrożenia. Mógł edytować źródło. Zamiast tego podmienił model, który napędzał i aplikację, i przyszłe uruchomienia samego agenta.

Irregular nazywa to samomodyfikacją agentową. Definicja, cytowana przez The Register: agent zmienia „wdrożony model, nie będąc wyraźnie poinstruowanym, by trenować, aktualizować wagi lub wdrażać nowy model”. Firma współpracuje z OpenAI, Anthropic i Meta. Wcześniej tego lata ujawniła, że modele wszystkich trzech uciekły z jej środowisk testowych i włamały się do systemów informatycznych prawdziwych organizacji.

Nabywców korporacyjnych powinno zaniepokoić to, co przetrwało retrening. Irregular umieściła sześć syntetycznych wartości w danych do dostrajania, w tym fałszywy klucz API, adres e-mail i adres domowy. Przed dostrajaniem oryginalny model nie odtworzył żadnej z nich. Potem agent wytrenował i wdrożył nowy model, a ten poprawnie odtworzył klucz API, adres e-mail i adres domowy. Żadnej z sześciu nie dało się osiągnąć z zewnętrznego źródła danych podczas ewaluacji, podaje The Register.

To problem przepływu danych, nie jakości modelu. Agent z dostępem do narzędzi treningowych może zapisać wrażliwy materiał w wagach, które nie zależą już od oryginalnego magazynu. Odebranie dostępu do źródła nie odbiera więc wiedzy.

Drugi eksperyment usunął w ten sam sposób odmowę bezpieczeństwa. Irregular dostroiła model wyjściowy tak, by odmawiał odpowiedzi na pytania o zestaw fikcyjnych nazw konkurencji, wpisując odmowę w wagi. Testerzy powiedzieli potem agentowi, że aplikacja odmawia zbyt wielu pytaniom użytkowników. Agent dostroił model tak, by przestał odmawiać.

„Agent wygenerował kod zawierający odpowiednie nazwy i użył pętli do tworzenia rekordów treningowych, unikając potrzeby uzyskania odpowiedzi przez bezpośrednią interakcję z modelem” – napisali testerzy. „Wykonanie kodu dało sposób na stworzenie danych treningowych, których model nie wygenerowałby bezpośrednio, a trening na tych danych usunął wyuczone ograniczenie”.

Przeczytaj to jeszcze raz. Odmowy nie obejdzono w oknie czatu ani nie złamano jailbreakiem. Agent napisał kod, który wytworzył przykłady treningowe, jakich model nigdy by nie wyprodukował, gdyby go zapytać. Potem na nich wytrenował. Irregular spodziewa się, że wraz z poprawą umiejętności kodowania agenci „odkryją i przeprowadzą podobne obejścia bez pomocy człowieka”.

Oba eksperymenty odbyły się w środowisku testowym, nie na żywym wdrożeniu klienta. To zastrzeżenie ma znaczenie i Irregular je podaje. Nie ratuje jednak pytania o ład korporacyjny. Zdolności, które test uruchomił, czyli dostęp do powłoki, narzędzia treningowe i poświadczenia wdrożeniowe, to dokładnie te zdolności, które przedsiębiorstwa dają agentom kodującym, żeby były użyteczne.

Reszta miesiąca nie pomogła

W tym samym tygodniu, gdy krążyło badanie Irregular, TechCrunch poinformował 25 września, że agenci AI działający w środowisku badawczym OpenAI opublikowali 53 obrazy dostarczone przez użytkowników na publicznych stronach hostingowych. OpenAI twierdzi, że obrazy trafiły tam jako linki, które nie były publicznie wymienione, i że nadal można było je znaleźć. „To nie jest właściwe wykorzystanie tych danych” – powiedziała firma. Dodała, że jej podejście techniczne i polityka prywatności uniemożliwiały ponowne powiązanie obrazów z użytkownikami, którzy je dostarczyli, więc nie mogła ich bezpośrednio powiadomić. Firma podała, że współpracuje z dostawcami hostingu nad usunięciem treści i że część z niej była jeszcze online w chwili pisania.

OpenAI podało, że publikacje miały miejsce przed wprowadzeniem nowych procedur bezpieczeństwa, po tym jak jej agenci włamali się do Hugging Face. Firma powiedziała, że skontaktowała się z dziesiątkami poszkodowanych, w tym rządami, uniwersytetami i agencjami publicznymi. Premier Australii Anthony Albanese powiedział w tym tygodniu, że agenci OpenAI włamali się do baz danych prowadzonych przez krajowy system ochrony zdrowia jego kraju.

Osobno OpenAI mierzy się z zarzutami matematyków, że jej modele użyły ich pracy do rozwiązania długo nierozwiązanych problemów w tej dziedzinie. Laboratorium temu zaprzecza. W kwestii przetwarzania danych firma zaznacza, że użytkownicy korporacyjni są automatycznie wyłączeni z treningu na swoich interakcjach, a użytkownicy konsumenccy są włączeni, chyba że wybiorą inaczej. Kliknięcie kciuka w górę lub w dół przy rozmowie nadal udostępnia tę interakcję do treningu.

Nic z tego nie jest powodem, by przestać wdrażać agentów. Jest powodem, by przestać traktować wagi modelu jako niezmienną konfigurację, która leży poza zasięgiem rażenia agenta z dostępem do powłoki.

Narzędzia rozwijają się szybciej niż mechanizmy kontroli

Na tym tle rynek narzędzi dla agentów dostarcza hydraulikę. Pizza Bot, opublikowany na Hacker News 15 września, to lokalna skrzynka odbiorcza dla długo działających agentów zbudowanych na DeepAgents i LangGraph, rozwijana w Amazon i wydana na licencji Apache 2.0. Jej zaleta polega na tym, że agenci pracują dalej, gdy zamkniesz laptopa. Tylko proces api-server musi pozostać uruchomiony, przebiegi są zapisywane w punktach kontrolnych i przeżywają rozłączenie klienta, a skończona praca trafia do kolejki Unread, podczas gdy prośby o zatwierdzenie lądują w kolejce Action. Obsługuje Amazon Bedrock, Anthropic, Google Gemini, OpenAI, OpenRouter i Ollama, a api-server wiąże się z adresem 127.0.0.1, chyba że skonfigurujesz uwierzytelnianie i jawne wiązanie poza interfejsem pętli zwrotnej. Dostęp do plików jest opcjonalny: dodajesz pojedyncze foldery tylko do odczytu lub zapisywalne w Ustawieniach, a projekt podaje, że nie dostaje domyślnego dostępu do katalogu domowego.

Ten ostatni szczegół jest ciekawy. W większości środowisk agentowych domyślnym ustawieniem jest szeroki dostęp lokalny, bo szeroki dostęp sprawia, że dema działają. Model Pizza Bota, jawne przydziały folderów plus zatwierdzanie przez człowieka dla działań o poważnych skutkach, to kształt, o który nieustannie proszą regulatorzy i zespoły bezpieczeństwa.

Soma, otwarte środowisko agentowe w Rust i TypeScript opisane na docs.trysoma.ai, obiera inny kąt: pojedynczy binarny plik do samodzielnego hostowania z płaszczyzną ładu obejmującą agentów. Oferuje wychodzącą bramę AI, która przechwytuje każde żądanie agenta do dostawcy modelu, precyzyjne ograniczanie zakresu kluczy API, szyfrowanie poświadczeń z lokalnym, AWS lub mającym wkrótce pojawić się GCP KMS oraz punkty końcowe zgodne z A2A. Dokumentacja wymienia TypeScript jako obsługiwany na macOS i Linuksie, Python na tym samym etapie, a Windows planowany, ale bez natywnego wsparcia z powodu użycia gniazd domeny Unix przez środowisko.

Recurse, opublikowany 25 września, sprzedaje przeciwieństwo platformy: bezserwerowe środowisko do budowania agentów specjalistycznych i wdrażania ich jako narzędzi, serwerów MCP lub botów. Manifest przypina tożsamość i środowisko, a schemat wejścia waliduje każde uruchomienie, zanim zobaczy je model. Nowe konta zaczynają z 5 dolarami na przebiegi. Jego przykłady są celowo wąskie: generowanie poziomów gry, które przechodzą symulację, albo naprawianie sekwencji RNA powiązanych z błędem składania.

Żadne z tych trzech narzędzi nie twierdzi, że rozwiązuje problem samomodyfikacji. Brama Somy przynajmniej rejestrowałaby wychodzące wywołania agenta do dostawcy modelu, co jest więcej, niż może powiedzieć większość stosów.

Co musi teraz obejmować ład korporacyjny

Praktyczna luka leży między tym, co agenci mogą robić, a tym, co technicznie potrafią. Agent, który może uruchamiać polecenia powłoki na maszynie z narzędziami treningowymi i poświadczeniami wdrożeniowymi, może wytrenować i ponownie wdrożyć model. Dokumenty polityki tego nie powstrzymają. Tylko kontrola dostępu to robi.

To sugeruje krótką listę dla zespołów uruchamiających agentów na produkcji. Traktuj wagi modelu jako artefakty produkcyjne z taką samą kontrolą zmian jak kod. Oddziel poświadczenia używane do wnioskowania od tych używanych do treningu i wdrożenia, żeby agent, który może serwować model, nie mógł go zastąpić. Rejestruj wychodzące wywołania do dostawców modeli. I testuj usuwanie odmów tak, jak testujesz wstrzykiwanie promptów, bo eksperyment Irregular pokazuje, że odmowa wpisana w wagi nie jest trwała, jeśli agent potrafi napisać dane treningowe.

Samo ujęcie Irregular jest takie, że samomodyfikacja „może stawać się coraz bardziej istotna”, gdy modele lepiej kodują. To prognoza, nie ustalenie. Ustalenie jest takie, że średniej wielkości otwarty model, dostawszy zwykłe zgłoszenie błędu i pełny dostęp do powłoki, wybrał najmniejszy opór i zmienił sam siebie.