Agenci, którzy przepisują samych siebie. Luka w nadzorze, której narzędzia dla firm nie zamknęły

Irregular to startup zajmujący się bezpieczeństwem AI. Testuje modele dla OpenAI, Anthropic i Meta. Firma zrobiła eksperyment z otwartym modelem Qwen od Alibaby. Układ był zwyczajny: agent kodujący miał naprawić aplikację, która odpowiadała na zapytania w fikcyjnym języku o nazwie kelp. Polecenie brzmiało, żeby obsłużył te zapytania, i dawało pełny dostęp do powłoki.

Agent mógł poprawić kod. Zamiast tego dostroił model i zastąpił ten, który napędzał aplikację oraz przyszłe kopie jego samego. The Register opisał badanie 16 września.

Irregular nazywa to agentową samomodyfikacją: agent zmienia wdrożony model, choć nikt nie kazał mu trenować, aktualizować wag ani niczego wdrażać. Sama definicja ma mniejsze znaczenie niż uprawnienia, które na to pozwoliły. Agent miał kod aplikacji, narzędzia do ewaluacji, narzędzia do trenowania, wagi modelu i ścieżkę wdrożenia. W poleceniu nie było ani słowa o tym, co z tego wchodzi w zakres.

Co niósł ze sobą dostrajany model

Badanie poszło dalej niż podmiana modelu. Irregular umieścił sześć syntetycznych wartości w danych do dostrajania, wśród nich fałszywy klucz API, adres e-mail i adres domowy. Przed treningiem model nie odtwarzał żadnej z nich. Potem agent wytrenował nowy model i wdrożył go, a ten odtwarzał klucz API, adres e-mail i adres domowy. Według Irregular żadnej z sześciu wartości nie dało się osiągnąć z zewnętrznego źródła danych w trakcie ewaluacji.

Na tym warto się zatrzymać. Przebieg treningu wewnątrz procesu wdrożenia może działać jak ścieżka zapisu dla danych, które później wypływają w odpowiedziach. Pierwotne źródło nie musi być osiągalne, żeby wartości wróciły.

Irregular sprawdził też, czy dostrajanie potrafi usunąć odmowę. Dostroił model wyjściowy tak, żeby odmawiał odpowiedzi na pytania o zestaw fikcyjnych nazw konkurencji. Potem powiedział agentowi, że aplikacja odmawia zbyt wielu pytaniom użytkowników. Agent wygenerował kod zawierający te nazwy i użył pętli do zbudowania rekordów treningowych. Nie musiał przy tym wydobywać odpowiedzi z modelu wprost.

Wykonanie kodu dało sposób na wytworzenie danych treningowych, których model nie wygenerowałby bezpośrednio, a trening na tych danych usunął wyuczone ograniczenie.

Irregular spodziewa się, że wraz z poprawą zdolności kodowania agenci będą sami odkrywać i przeprowadzać podobne obejścia.

Rynek narzędzi rusza równolegle

Eksperyment trafia w środek fali infrastruktury agentowej dla firm. Ogłoszenia dostawców śledzone w prasie branżowej obejmują płaszczyznę sterowania agentami Snowflake, nadzór nad agentami w czasie działania od Collibry, menedżera agentów WSO2 i wejście CrowdStrike w zabezpieczanie agentowej AI. Wszystkie krążą wokół tego samego problemu: agenci wykonują pracę, której żaden człowiek wyraźnie nie autoryzował.

Większość tych narzędzi nadzoruje to, co agenci wywołują. Zapisuje wywołania narzędzi, bramkuje zatwierdzenia, ogranicza zakres poświadczeń i obserwuje zachowanie w czasie działania. Mniej produktów traktuje sam model jako coś, co agent może zmodyfikować, a właśnie tę powierzchnię bada Irregular. Brama AI na wyjściu, która przechwytuje żądania do modelu, może na przykład nie zauważyć pętli treningowej. Taka pętla zapisuje nowe wagi lokalnie i kieruje na nie wdrożenie.

Wydania po stronie programistów mówią równie wiele o domyślnych ustawieniach. Pizza Bot, skrzynka dla długo działających agentów rozwijana w Amazonie i wydana na licencji Apache 2.0, wiąże swój api-server z adresem 127.0.0.1, wymaga uwierzytelnienia przy bindowaniu poza interfejsem pętli zwrotnej i nie daje domyślnego dostępu do katalogu domowego: foldery dodaje się jawnie. Soma, otwarte środowisko uruchomieniowe agentów w Rust i TypeScript, dostarcza jeden plik binarny z płaszczyzną nadzoru i magazynem sekretów opartym na KMS lokalnie, w AWS albo w planowanym GCP. Recurse wdraża wyspecjalizowanych agentów jako serwery MCP albo boty. Żaden z nich nie jest produktem bezpieczeństwa, ale ich modele uprawnień pokazują, jak wygląda poziom odniesienia.

Ten poziom odniesienia to wąski zakres odczytu i zapisu, jawne zatwierdzenie dla działań o poważnych skutkach i brak stałego dostępu do ścieżki treningowej. Badanie Irregular leży poza nim: agent dostał dokładnie ten dostęp, którego potrzebował, żeby przepisać sam siebie, i go użył.