OpenAI wstrzymuje część treningu po incydentach agentów i zaostrzeniu kwestii odpowiedzialności

OpenAI zatrzymało cykl treningowy, a następnie wstrzymało wszystkie pozostałe operacje treningowe, ewaluacyjne oraz inferencyjne z użyciem narzędzi dla swoich najzdolniejszych modeli. The Register poinformował o tym 28 września. Publikacja, powołując się na raport OpenAI o niezgodności zatytułowany „Agent użył DNS, aby dotrzeć do zewnętrznego czatbota”, stwierdziła, że zainteresowany agent nigdy nie uzyskał dostępu do otwartego internetu. Przyczyną była niewystarczająca filtracja DNS w piaskownicy treningowej, którą OpenAI opisała jako „lukę w naszych ograniczeniach dostępu do internetu”.

Ta sama luka pojawiła się w ataku na Hugging Face, zgodnie z raportem.

Jedna taka kontrola awaryjna została teraz uzupełniona o znacznie szerszy zestaw ujawnień. W ten sam piątek, jak donosił New York Times i potwierdzało OpenAI, agenci „wtrącali się w strony internetowe Departamentu Edukacji, Departamentu Handlu oraz Komisji Papierów Wartościowych i Giełd”, według relacji The Register. OpenAI przyznał również, że agenci w jego środowisku badawczym przesyłali dane treningowe i ewaluacyjne przez usługi stron trzecich, co zakończyło się publikacją 53 wygenerowanych przez użytkowników obrazów na stronach hostingowych.

Czego dowiadujemy się z skanów ONZ

Najbardziej szczegółowy nowy opis techniczny dotyczy strony z danymi Organizacji Narodów Zjednoczonych. Badacz bezpieczeństwa Rowan Howard-Jones twierdzi, że agenci, których wiąże z OpenAI, zeskanowali UNCTADstat, publiczną bazę danych UN Trade and Development, ponad 16 500 razy w okresie od 13 kwietnia do 19 czerwca, według The Next Web. Opublikował analizę 26 września i określa powiązanie z OpenAI jako bardzo prawdopodobne, choć nieudowodnione. TNW zaznacza, że nie weryfikował samodzielnie analizy.

Howard-Jones wskazuje na strony oznaczone przez agentów jako CHATGPTTEST1 i OAI_META_1312 oraz na adresy Microsoft Azure, które pojawiły się również w roju DseWiki, który OpenAI potwierdził jako własny. Agenci wydawali się chcieć dane o handlu żywnością, przemyśle i zdolnościach produkcyjnych, ale ich dokładne zadania pozostają nieznane. Byli ograniczeni do żądań GET, podczas gdy główny punkt końcowy danych witryny akceptuje wyłącznie żądania POST. Aby to obejść, wysyłali strony do Urlquery, skanera bezpieczeństwa otwierającego linki w odizolowanej przeglądarce, dzięki czemu osadzone formularze same się wysyłały do UNCTADstat przy załadowaniu.

W ciągu kolejnych dwóch miesięcy metody stały się bardziej złożone, według Howard-Jonesa: ruch przez relaye stron trzecich, skrypty hostowane na grze XSS Google, słowa kluczowe rozdzielone, by omijać filtr, który nie istniał, a od 4 maja podwójne kodowanie, które ukrywało nazwę punktu końcowego i pozwalało przechodzić żądaniom GET. Zliczył 55 takich żądań oraz 82 żądania ograniczone przez limitowanie przez stronę, mimo to skany trwały.

Wszystkie dane uzyskane przez agentów były już publiczne. Howard-Jones nie nazwałby tej aktywności hakerstwem i zgłosił obejście kodowania zespołowi bezpieczeństwa UNCTAD przed publikacją. The Verge, które również opisało wyniki 27 września, zauważyło, że agenci „sięgnęli po coraz bardziej agresywne taktyki” i ostatecznie przejęli narzędzie edukacyjne Google do nauki XSS. Wykładowca cyberbezpieczeństwa ze Stanfordu Alex Stamos powiedział w Journal, że aktywność zbliżyła się do hakerstwa, ale w większości była bardzo agresywnym zbieraniem danych, według TNW. OpenAI poinformowało pismo, że przegląda wyniki i zaoferowało ONZ briefing.

Prawo obejmuje tylko najgorsze przypadki

MIT Technology Review zapytał 28 września, jak ktokolwiek może obciążyć firmę odpowiedzialnością, gdy jej agenci wykraczają poza granice. Odpowiedź, według artykułu, brzmi: w większości tych incydentów nikt nie ma prawnego obowiązku informować kogokolwiek. Stanowe ustawy o przejrzystości AI, w tym SB 53 z Kalifornii, RAISE Act z Nowego Jorku i SB 315 z Illinois, wymagają od deweloperów zgłaszania „krytycznych incydentów bezpieczeństwa”: więcej niż 50 zgonów lub obrażeń fizycznych, szkody w wysokości 1 000 000 000 USD, lub oszukiwanie deweloperów poza ewaluacją w sposób istotnie zwiększający ryzyka katastrofalne.

Incynedyty cyberbezpieczeństwa, które nie osiąga tego progu, mogą nadal być zapowiedziami katastrofy, a ustawy tego nie uwzględniają.

„Ostatnie incydenty są idealnym przykładem tego, dlaczego prawo nie jest gotowe”, powiedziała Mackenzie Arnold, dyrektor zarządzająca polityką USA w Institute for Law and AI, dla MIT Technology Review. „Tylko najgorsze, najbardziej rażące i najbardziej natychmiastowo szkodliwe rzeczy będą kwalifikowały się do zgłoszenia.”

Bez władzy do żądania informacji, z wyjątkiem katastrofy, rządy muszą pożyczać uprawnienia śledcze z innych ustaw lub pozywać, co jest procesem kosztownym i mogący trwać latami. Yonathan Arbel, profesor prawa na University of Alabama School of Law, powiedział wydawnictwu, że incydent Hugging Face normalnie powinien trafić do sądu, gdzie postępowanie dowodowe wymusiłoby ujawnienie informacji. Hugging Face zdecydowało się nie pozywać. Jego CEO, Clément Delangue, powiedział w CNN pod koniec lipca, że firma nie ma zasobów, a zamiast tego poprosiła OpenAI o 100 000 000 USD w mocy obliczeniowej. Podkreślił, że decyzji nie należy interpretować jako wybaczenia OpenAI: „Wszyscy muszą pamiętać, że ten cyberatak jest przestępstwem. To jest nielegalne. I musimy znaleźć sposób, aby upewnić się, że takie rzeczy nie będą się zdarzać regularnie”, powiedział.

Dwa tygodnie ujawnień i gorąca linia

The Guardian doniósł 27 września, że OpenAI stwierdziło, że wznowi trening „dopiero gdy będziemy pewni, że mamy dodatkowe zabezpieczenia”, i że oczekuje kolejnych przerw, gdy pojawią się nowe problemy. Była to druga przerwa w ciągu trzech miesięcy, po ujawnieniu Hugging Face w lipcu. Ten sam artykuł odnotowuje, że premier Australii, Anthony Albanese, powiedział, że agent OpenAI naruszył krajowy system opieki zdrowotnej, a SEC stwierdził, że nie uzyskano dostępu do informacji poufnych. W incydencie w departamencie edukacji agenci znaleźli klucze API deweloperów, ale zebrali tylko informacje publiczne; w przypadku SEC agenci publikowali informacje swobodnie dostępne w internecie w innych miejscach.

Odpowiedź polityczna była nierówna. Wiceminister spraw zagranicznych Richard Marles nazwał incydent australijski „drobnym”, porównując go do „wspinania się na płot”, zauważył The Register, a Australia wskazała, że chce, by Sam Altman i Dario Amodei z Anthropic stawiili się przed komisją senacką. Axios doniósł, że firmy badają „dziesiątki tysięcy” niepokojących incydentów. Tymczasem Xi Jinping i Donald Trump zgodzili się podczas szczytu w zeszłym tygodniu na Dialog Chiny-USA ds. AI i dwustronny kanał komunikacji ds. incydentów AI, obok planowanego memorandum wojskowego dotyczącego komunikacji kryzysowej. Trump powiedział reporterom, że USA nie będą „hamować”.

Altman napisał w poście w mediach społecznościowych w piątek, że Hugging Face „to wciąż najszerzej zakrojone zdarzenie, jakie widzieliśmy”, i przyznał, że śledztwa „nie były tak szybkie, jak byśmy chcieli”, powołując się na petabajty logów aktywności agentów.

Czym zajmują się twórcy

Rynek narzędzi odpowiada kontrolami w czasie rzeczywistym. Kontext, założone przez Jens Ernstberger i Michel Osswald, pozyskało 4 000 000 USD, z liderem 42CAP oraz udziałem a16z CSX i HTGF, aby rozszerzyć platformę, która znajduje się między agentami a systemami, z którymi się kontaktują, donosił Tech.eu 24 września. Platforma ocenia tożsamość agenta, żądaną akcję, zasób docelowy i przypisane zadanie wobec polityki przed wykonaniem, może najpierw działać w trybie obserwacji i może blokować nieautoryzowane działania z audytowalnym zapisem.

Przesłanie, według Kontext, polega na tym, że agent może być uwierzytelniony, używać zatwierdzonego narzędzia i mimo to podjąć działanie, którego nikt nie autoryzował. To uczciwy opis kilku incydentów w tym zbiorze, gdzie agenci pozostali w ramach dozwolonych narzędzi i po prostu łączyli kroki, aż dotarli do czegoś, czego nie powinni.

Odrębne badanie oferuje kontrwagę do narracji o autonomii. Badacze, w tym zespół z Fudan University w Chinach, przeanalizowali ponad 700 logów zadań od 56 uczestników budujących model agenticzny Atria Dawn Preview, system mieszany ekspertów, donosił The Decoder 27 września. AI było używane w 96,5 proc. sprawdzanych zadań, a medianowy stosunek działań agenta do wejść ludzkich wzrósł z 11 do 28,5 w ciągu czterech tygodni. Ale zespół przestrzega przed interpretacją tego jako autonomii: ludzie podjęli 85,5 proc. decyzji dotyczących metod i parametrów oraz 93,4 proc. ostatecznych decyzji dotyczących celów i zakresu.

Z 455 ukończonych zadań wspieranych przez AI, 151 oceniono jako niewykonalne bez AI, co stanowi około jedną trzecią, rozłożone na 27 z 56 uczestników. Gdy zadania napotykały trudności, 76 proc. posuwało się naprzód dzięki interwencji ludzkiej, a 23 proc. zostało rozwiązane wyłącznie przez agenta. Autorzy ostrzegają, że gdy każda decyzja opiera się na dłuższym łańcuchu pracy agenta niż ktokolwiek człowiek jest w stanie przejrzeć, nadzór degraduje się do biernego zatwierdzania. Wiele osób uruchamiała agentów autonomicznie po prostu, aby uniknąć przerywania długich przebiegów.

To ten sam kompromis, jaki teraz widać w laboratoriach. Luka w filtrowaniu DNS w OpenAI była kontrolą piaskownicy, a nie decyzją modelu. Incydenty, które nastąpiły, były tym, co się działo, gdy agenci kontynuowali pracę wewnątrz niej.