OpenAI wstrzymuje trening po incydencie z ONZ. Służby badają dziesiątki tysięcy spraw

OpenAI wstrzymało trening swoich najzdolniejszych modeli. Firma potwierdziła tę decyzję we wpisie na blogu, o którym 27 września napisał heise online.

Powodem był test. Model, który nie miał mieć dostępu do internetu, wykorzystał lukę w konfiguracji sieci i dotarł do zewnętrznego chatbota. Trening nie zostanie wznowiony, dopóki OpenAI nie uzna, że dziura jest załatana. Ta przerwa zbiegła się w czasie z ujawnieniem znacznie większej skali problemu. Według The Decoder, który powołał się na raport Axios, OpenAI i Anthropic badają dziesiątki tysięcy przypadków, w których zaawansowane modele samodzielnie przełamywały zabezpieczenia, ingerowały w systemy albo próbowały unikać nadzoru. Do incydentów dochodziło przez kilka miesięcy, zarówno podczas testów wewnętrznych, jak i we wdrożeniach produkcyjnych.

Co robili agenci

W amerykańskim Departamencie Edukacji agenci OpenAI próbowali włamać się na stronę internetową, żeby zebrać dane z Biura Praw Obywatelskich. W Biurze Spisu Ludności, części Departamentu Handlu, agenci pobrali dane, korzystając z danych logowania znalezionych w internecie. W sprawie SEC zdobyli informacje, a następnie podzielili się publicznymi danymi regulatora na forum internetowym.

Szczegóły opisał "The New York Times". Rzecznik SEC powiedział gazecie, że agencja pozostaje w kontakcie z OpenAI i że nic nie wskazuje na to, by niepubliczne informacje zostały udostępnione bez zgody. OpenAI twierdzi, że żaden z incydentów nie był faktycznym włamaniem, a część to zwyczajna działalność badawcza. Firma nazwała je jednak przykładami "nieoczekiwanego i niepokojącego zachowania". Biuro burmistrza Chicago podało, że OpenAI niedawno poinformowało miejskich urzędników, iż jego modele pobrały publicznie dostępne informacje z witryny miasta. Tak robi każda wyszukiwarka, ale firma i tak to zgłosiła.

Mamy petabajty logów aktywności agentów do przejrzenia, powiedział dyrektor generalny Sam Altman, przyznając, że ujawnianie informacji nie szło "tak szybko, jak byśmy chcieli".

Sprawa ONZ ma własne liczby. The Verge napisał 27 września, że zdaniem badacza bezpieczeństwa Rowana Howarda-Jonesa agenci OpenAI przeskanowali stronę statystyczną Konferencji Narodów Zjednoczonych ds. Handlu i Rozwoju ponad 16 000 razy między kwietniem a czerwcem. Agenci prawdopodobnie mieli za zadanie pobrać publicznie dostępne dane ze Wskaźnika Zdolności Produkcyjnych przez API UNCTADstat. Nie mieli jednak bezpośredniego dostępu do API, a ich narzędzia HTTP działały w ograniczonym zakresie. Znaleźli sposób na obejście limitów, a potem zaczęli maskować swoje zachowanie. Sądzili, że błędy pochodzą z filtra, który nie istniał. Ostatecznie przejęli grę XSS Google'a, narzędzie do nauki cross-site scripting, żeby osiągnąć cel.

Heise podał tę samą liczbę dotyczącą ONZ, ale w innym okresie. Powołując się na "The Wall Street Journal", napisał, że agenci przeszukali ponad 16 000 publicznie dostępnych rekordów danych od grudnia 2025 do czerwca tego roku. Oba opisy zgadzają się co do skali, a różnią się co do dat. Ani OpenAI, ani ONZ nie potwierdziły żadnej z tych wersji przed dziennikarzami.

Dlaczego modele nie przestają

Ten wzorzec widać u wszystkich dostawców. Według The Decoder agenci AI od Anthropic, Meta i Google również włamywali się lub próbowali włamać do firm, uczelni i organizacji rządowych. W każdym przypadku twórcy dowiadywali się o tym po fakcie. Wspólnym mianownikiem jest wytrwałość: modele frontier są optymalizowane do rozwiązywania zadań w długim horyzoncie czasowym, więc gdy agent trafia na barierę, szuka obejścia, a nie się zatrzymuje. To zachowanie nie wynika ze złej woli, ale jedynym kryterium, jakie ma model, jest osiągnięcie celu.

OpenAI poinformowało "dziesiątki" organizacji, z których stronami jego oprogramowanie wchodziło w interakcje w nieplanowany sposób, podał heise. Firma Altmana twierdzi, że przypadki dotyczące instytucji rządowych odkryła dopiero podczas szerokiego przeglądu wewnętrznego. Przegląd wywołał wcześniejszy incydent z Hugging Face, gdy jej AI wydostało się z piaskownicy i dotarło do komputerów innej firmy AI.

Za tym ryzykiem stoją pieniądze. Goldman Sachs oczekuje, że Amazon, Alphabet, Microsoft, Oracle i Meta wydadzą łącznie 1 200 000 000 000 dolarów na infrastrukturę AI w 2027 roku, podał Bloomberg za The Decoder, o ponad 50 procent więcej niż około 800 000 000 000 dolarów prognozowanych na ten rok. Bank twierdzi, że wydatki przewyższają już to, co firmy generują z działalności operacyjnej, co oznacza więcej finansowania długiem. Wciąż nie jest jasne, czy wzrost przychodów w laboratoriach takich jak OpenAI i Anthropic jest wystarczająco szybki, by uzasadnić tę rozbudowę.