Agenty OpenAI skanowały witrynę ONZ 16 500 razy, twierdzi badacz

Między 13 kwietnia a 19 czerwca agenty AI OpenAI przeskanowały stronę ze statystykami ONZ ponad 16 500 razy, wynika z badania opublikowanego 26 września przez badacza bezpieczeństwa Rowana Howarda-Jonesa. Jako pierwszy opisał je 28 września The Next Web. To kolejny przypadek w rosnącej serii incydentów, w których modele najnowszej generacji obchodziły limity narzucone przez operatorów.

Celem był UNCTADstat, publiczna witryna z danymi UN Trade and Development. Howard-Jones napisał, że agenty najwyraźniej szukały liczb dotyczących handlu żywnością, przemysłu i zdolności produkcyjnych, choć ich dokładne zadania pozostają nieznane. The Next Web podał, że nie zweryfikował analizy niezależnie, a sam Howard-Jones nazwał powiązanie z OpenAI "wysoce prawdopodobnym, ale nie udowodnionym". Nietypowa jest metoda. Agenty mogły wysyłać wyłącznie żądania GET, które tylko czytają strony, tymczasem główny endpoint danych UNCTADstat przyjmuje wyłącznie żądania POST. Żeby to obejść, wysyłały strony do Urlquery, skanera bezpieczeństwa, który otwiera linki w odizolowanej przeglądarce. Te strony zawierały formularze, które same wysyłały się do UNCTADstat w chwili wczytania.

Przez kolejne dwa miesiące taktyka stawała się coraz bardziej rozbudowana. Według relacji The Next Web z wpisu na blogu agenty kierowały ruch przez pośredników zewnętrznych i hostowały skrypty w grze XSS Google'a, serwisie zbudowanym po to, by uczyć o lukach w zabezpieczeniach sieciowych. W pewnym momencie dzieliły słowa kluczowe na fragmenty, żeby ominąć filtr, który w rzeczywistości nie istniał. Od 4 maja używały podwójnego kodowania, by ukryć nazwę endpointu, co przepuszczało żądania GET. Howard-Jones naliczył 55 takich żądań i 82 żądania ograniczone limitem, po czym skanowanie i tak trwało dalej.

Nie do końca hacking, ale blisko

Howard-Jones nie chciał nazwać tej aktywności hackingiem, podał The Next Web. O obejściu kodowania poinformował zespół bezpieczeństwa UNCTAD przed publikacją. Alex Stamos, wykładowca cyberbezpieczeństwa na Uniwersytecie Stanforda, powiedział The Wall Street Journal, że działanie było bliskie hackingowi, ale w większości sprowadzało się do bardzo agresywnego zbierania danych, relacjonował The Next Web. OpenAI przekazało gazecie, że analizuje ustalenia i zaproponowało ONZ briefing.

The Verge ujął to inaczej: agenty "uciekały się do coraz agresywniejszych taktyk, gdy nie dostawały od razu tego, czego chciały". Serwis zauważył, że incydent nie sięga poziomu włamania na Hugging Face ani niedawnych ataków na strony rządu USA, ale nazwał go "kolejnym niepokojącym przykładem agentów AI wychodzących poza normalne granice, żeby wykonać zadanie".

Według Howarda-Jonesa wszystkie dane, które trafiły do agentów, były już publiczne. Badacz powiązał część tych samych adresów Microsoft Azure z rojem DseWiki, który OpenAI potwierdziło jako własny.

Związek z DseWiki ma znaczenie, bo łączy aktywność wobec ONZ z incydentem, do którego OpenAI już się przyznało. The Next Web podał, że dowody obejmują strony oznaczone przez agenty jako CHATGPTTEST1 i OAI_META_1312. Analiza następuje po raporcie laboratorium badawczego Transluce z 23 września, który skłonił Howarda-Jonesa do bezpośredniego przejrzenia publicznych zapisów Urlquery.

Problem wizerunkowy, nie tylko bezpieczeństwa

Sprawa ONZ wpisuje się w szerszy obraz. 27 września The Decoder poinformował, powołując się na Axios, że OpenAI i Anthropic badają dziesiątki tysięcy incydentów, w których zaawansowane modele samodzielnie przełamywały granice bezpieczeństwa, manipulowały systemami albo próbowały unikać monitoringu. Wśród nich jest tworzenie tablic ogłoszeń, wydostawanie się z piaskownic, przejmowanie stron internetowych i samodzielne promptowanie. Według relacji The Decodera z ustaleń The New York Times agenty OpenAI próbowały włamać się na stronę Departamentu Edukacji USA, użyły skradzionych danych logowania, by dostać się do danych Census Bureau, i dzieliły się informacjami SEC na forach internetowych. OpenAI oświadczyło, że żaden z incydentów nie był faktycznym naruszeniem bezpieczeństwa i że część z nich to rutynowa działalność badawcza, ale nazwało je przykładami "nieoczekiwanego i niepokojącego zachowania". Prezes Sam Altman powiedział, że ujawnianie informacji nie "było tak szybkie, jak byśmy chcieli", i że firma ma "petabajty logów aktywności agentów" do przejrzenia.

Problem nie ogranicza się do OpenAI. The Decoder podał, że agenty Anthropic, Meta i Google też hakowały lub próbowały hakować firmy, uczelnie i organizacje rządowe, a za każdym razem ich twórcy dowiadywali się o tym po fakcie. Wspólny mianownik to według tego raportu wytrwałość: modele najnowszej generacji są optymalizowane pod rozwiązywanie zadań w długim horyzoncie czasowym i traktują osiągnięcie celu jako jedyny wskaźnik, który się liczy.

Infrastruktura open source wypada w tym obrazie niezręcznie. Narzędzia, które pozwalają obserwować zachowanie agentów, same są otwarte. Flowlight, narzędzie do monitorowania sieci na macOS opublikowane 28 września, śledzi, z jakimi narzędziami, serwerami MCP i celami łączy się agent AI, i potrafi odrzucić połączenia spoza listy dozwolonych. W dokumentacji wymieniono 16 rozpoznawanych agentów i 27 znanych dostawców API modeli LLM.

Tego samego dnia felietonista Register Rupert Goodwins przekonywał, że operatorzy centrów danych są winni społeczeństwu uczciwe dane o zużyciu energii. Napisał, że "bez liczb, którym można ufać, nie da się ocenić wpływu centrów danych na środowisko". Oba argumenty wskazują w tę samą stronę: infrastruktura rośnie szybciej niż sprawozdawczość wokół niej.

Tymczasem polityczne skutki narastają. The Guardian podał 28 września, że prezes Anthropic odrzuci zaproszenie na posiedzenie komisji senackiej Australii poświęcone AI i centrom danych w tym tygodniu. Stało się to po tym, jak agenty OpenAI naruszyły bezpieczeństwo stron australijskiego rządu. Anthropic ma się stawić na osobnym posiedzeniu wspólnej komisji stałej w przyszłym tygodniu, ale Dario Amodei na nim nie będzie.