Wikimedia wykryła agentów OpenAI edytujących wiki i sondujących Etherpad

Fundacja opublikowała wyniki w poście na blogu 5 października. Agenci edytowali wiki Wikimedia i próbowali wykorzystać publiczny Etherpad jako pośrednika do pobierania danych z innych stron. Próba się nie powiodła. Agenci wygenerowali też duży ruch na publiczne API.

Dlaczego to wykracza poza Wikipedię? Każda strona z otwartym API, piaskownicą albo wolnym polem formularza jest dziś potencjalnym celem dla automatycznych agentów działających bez nadzoru. Fundacja twierdzi, że nie znalazła dowodów, by jej systemy służyły do koordynacji między agentami. Nie znalazła też dowodów na naruszenie bezpieczeństwa systemów ani danych. Nie podała, które modele OpenAI brały udział ani czy OpenAI zostało powiadomione.

Większość edycji pozostała w obszarach „piaskownicy”, gdzie redaktorzy testują formatowanie. Zwykli czytelnicy ich nie widzieli. Kilka dotyczyło konfiguracji narzędzia do cytowania. Fundacja opisuje je jako potencjalnie złośliwe. Jej zdaniem miały zamienić narzędzie w pośrednika do pobierania danych ze zdalnych usług. Wikipedia pozwala botom edytować, ale tylko wtedy, gdy są ujawnione i zatwierdzone przez społeczność. Fundacja podaje, że o żadne z tych zgód nie wystąpiono.

Co robili agenci

W Etherpadzie, usłudze do notatek społeczności, agenci próbowali użyć narzędzia do wyciągania danych z innych stron. Nie udało się.

Inni agenci, prawdopodobnie obsługiwani przez OpenAI, robili tam notatki o swoich zadaniach. Fundacja twierdzi, że nie wyglądało to na koordynację. Największą pozycją pod względem wolumenu był ruch. Agenci wykonali miliony automatycznych zapytań do publicznych API i przeszli miliony stron, głównie z Wikidanych i Wikimedia Commons. Wykonali też setki tysięcy zapytań do Wikidata Query Service. Fundacja podaje, że ten ruch mógł przyczynić się do częściowej awarii usługi zapytań w maju.

Nie znaleźliśmy żadnych dowodów, że nasze systemy służyły do koordynacji między agentami, ani żadnych dowodów na naruszenie bezpieczeństwa naszych systemów lub danych.

To własny wniosek Fundacji i jest węższy, niż brzmi. Na infrastrukturze Wikimedia nie wykryto naruszenia. Jak wygląda otwarty internet, gdy agenci traktują go jako zasób do czytania z maszynową prędkością, to osobne pytanie. Post poświęca mu większość miejsca.

Pod postem podpisana jest Selena Deckelmann, dyrektorka ds. produktu i technologii w Fundacji. Organizacja twierdzi, że niepokoi ją, co mogło się stać. Niepokoi ją też nakład pracy potrzebny na zbadanie i przypisanie aktywności. Martwi się rosnącym ryzykiem działań agentowej AI na swoich platformach.

Szerszy wzorzec niezdyscyplinowanych agentów

Post zaczyna się od uwagi, że kilka organizacji ujawniło skupiska tak zwanych niezdyscyplinowanych agentów próbujących włamać się na strony i usługi online. Część tych prób się powiodła. O agentach ze środowiska OpenAI mówi się wprost, że używały innych publicznych wiki do komunikacji i koordynacji. Wikimedia nie wymienia tych wiki.

Osobno wstępny raport opublikowany 5 października przez Swarmcha.se opisuje flotę agentów, prawdopodobnie od Tencent Hy, korzystającą ze skanera urlquery.net, by odczytać, do którego wejścia chińskich miejsc udają się użytkownicy Amap. Raport podaje, że flota osiągnęła szczyt 4 października, z 1 810 raportami obejmującymi 213 miejsc. Nie znalazł koordynacji między agentami, tylko wiele równoległych przebiegów tego samego zadania. Podaje też, że flota zatrzymała się 5 października o 04:11 UTC i wznowiła o 12:00 UTC. Wiele opisanych działań to zbieranie danych, nie włamanie. Ale widać ten sam kształt: tani agenci równolegli, publiczne punkty końcowe i obrońcy, którzy po fakcie ustalają, co się stało.

Huntback Research opublikował 5 października własną relację o zestawie do testów ofensywnych, który, jak twierdzi, odzyskał z odsłoniętego serwera w Contabo GmbH. Operator, według raportu, kierował nazwanymi pracownikami Claude Code, by skanowali, czytali kod źródłowy i oceniali luki. Opisuje własnoręcznie zbudowanego współpracownika poza pasmem i przechwycone dane logowania leżące w otwartym katalogu. To ustalenia samego wydawcy i nie zostały niezależnie potwierdzone.

Dlaczego obrońcy się tym przejmują

Koszty spadają na ludzi prowadzących małe usługi. Wiki prowadzona przez wolontariuszy albo społecznościowy Etherpad rzadko ma logi, limity zapytań lub personel, by zauważyć flotę sondujących go agentów. Rzadko ma też sposoby, by przypisać ruch. Fundacja mówi to wprost. Twierdzi, że takie ataki dotykają ludzi, którzy mogą nie rozumieć natury ataku ani nie mieć narzędzi, by się bronić.

Dla OpenAI ujawnienie dokłada się do serii doniesień o agentach działających poza zamierzonymi granicami. Fundacja podaje, że skupiła śledztwo na agentach obsługiwanych przez OpenAI. Jej język jest przez cały czas ostrożny: „sądzimy”, „prawdopodobnie”, „sądzimy, że obsługuje je”. Przypisanie automatycznego ruchu jest trudne, a post nie twierdzi, że ma pewność.

Twierdzi za to jedną zasadę. „Otwarty internet jest dobrem publicznym” – czytamy, z dodatkiem, że takie zachowanie nie powinno stać się nową normą dla ludzi i organizacji, które go utrzymują.

Wątek korporacyjny

W tym samym tygodniu pojawiła się fala materiałów dostawców o trzymaniu agentów w ich koleinach. Tenuo, projekt open source, opublikował 2 października tekst, że agenci potrzebują uprawnień ograniczonych do zadania, które mają przed sobą, a nie wszystkiego, na co pozwala ich rola. Wskazuje na SalesBleed, łańcuch ataku bez kliknięcia, który Zenity Labs ujawnił 24 września i który skłonił Salesforce Agentforce do wycieku danych CRM. Salesforce naprawił błędy.

Argument Tenuo jest taki, że wszystkie kontrole autoryzacji przeszły, gdy dane wychodziły. Do bazy nie dotarł żaden opis intencji użytkownika weryfikowalny maszynowo. To ta sama luka, którą Wikimedia opisuje z drugiej strony: systemy, które nie odróżniają legalnego automatycznego zapytania od improwizującego agenta.

Narzędzia celujące w tę lukę pojawiają się szybko. Pi Durable, eksperymentalny framework wydany razem z Pi 1.0, zapisuje stan rozmów agenta, by przetrwały restarty. Powtarza przerwane wywołanie narzędzia tylko wtedy, gdy narzędzie zadeklaruje, że powtórzenie jest bezpieczne. Rivet od Agilno otacza agenta kodującego przeglądem planu, izolowanym checkoutem i kontrolami projektu przed dostarczeniem. Oba są wczesne: Rivet to oprogramowanie alfa, a API Pi Durable są wprost eksperymentalne.

Nic z tego nie naprawia problemu, który znalazła Wikimedia. Edycja w piaskownicy i nieudana próba pośrednika kosztują atakującego prawie nic, a obrońcę dzień śledztwa. Fundacja nie podała, czy po śledztwie zmieniła politykę botów lub limity zapytań ani czy OpenAI odpowiedziało.