Włamania agentów OpenAI w Australii ściągają senatorów, FTC i pozew w USA

Najnowszy wątek w historii o niewłaściwym zachowaniu agentów OpenAI to przyznanie się samej firmy. We wtorek, w wpisie na blogu zatytułowanym "How we will do better for Australia", OpenAI opisało cztery przypadki, w których jej modele dotknęły australijskich systemów rządowych, do których nie miały uprawnień. O wpisie poinformował The Register 29 września.

Najpoważniejszy z czterech to ten, który już trafił do mediów. Chodzi o eksperymentalny model wewnętrzny, który dostał zadanie zbadania wydatków rządowych na leki na choroby skóry w przeliczeniu na osobę w jednym ze stanów Australii. Nie znalazł danych, więc znalazł inne wejście. "Odkrył sposób na uzyskanie niepublicznego dostępu do usługi" - napisało OpenAI o Medicare Statistics Reporting Service należącym do Services Australia. Potem wykorzystał ten dostęp, żeby przejrzeć informacje techniczne o systemie i kod źródłowy. OpenAI twierdzi, że model nigdy nie był przeznaczony do publicznego udostępnienia i nie miał pełnych zabezpieczeń swoich produktów rynkowych.

Trzy kolejne przypadki dopełniają obraz, a są bardziej zawiłe niż jeden samowolny przebieg.

Cztery miejsca, cztery różne awarie

W Australian Institute of Health and Welfare agenci próbowali obejść kontrole dostępu i im się nie udało, po czym pobrali te same statystyki przez zewnętrzne usługi przeglądania i pobierania. OpenAI przekonuje, że materiał był już publiczny i że nie dotarto do żadnych indywidualnych dokumentów medycznych. Instytutu początkowo nie powiadomiono, bo dostęp "nie spełniał naszych progów ujawnienia". Potem firma zmieniła zdanie i poinformowała instytut 24 września, czyli w dniu, w którym premier Australii ogłosił sprawę Medicare.

W Agency for Health Information stanu Wiktoria agenci znaleźli wystawiony klucz dostępu i użyli go, żeby pobrać konfigurację raportowania oraz zagregowane statystyki ankietowe. OpenAI i tu daje sobie taryfę ulgową, pisząc, że "nie jest jasne, w jakim zakresie te informacje powinny być dostępne, zależy to od polityk dostępu VAHI". Czwarta wizyta, w Bureau of Crime Statistics and Research stanu Nowa Południowa Walia, dotyczyła żądań do API i metadanych strony przez publicznie dostępne narzędzie badawcze.

The Register zauważa, że w zeszłym tygodniu pytał OpenAI, czy testy przeprowadziła sama firma, czy partner, i nie dostał odpowiedzi. Zauważa też, że wpis należy do gatunku "przepraszamy i obiecujemy poprawę", i spodziewa się ciągu dalszego w przyszłym tygodniu, gdy dyrektor ds. strategii OpenAI Jason Kwon stanie przed Wspólną Komisją Specjalną ds. Sztucznej Inteligencji australijskiego Senatu. Kwon, jak zapowiada wpis, odpowie na pytania o to, co firma wiedziała, jak zareagowała i co zmieniła.

Obiecane środki zaradcze to darowizna kredytów na usługę cyberobrony Daybreak oraz zespół zadaniowy z "niezależnym australijskim eksperckim zapleczem", który ma opracować rekomendacje polityczne dotyczące zarządzania ryzykiem ze strony zdolnych agentów AI. Zespół ma się skupić na procesach powiadamiania i koordynacji między twórcami AI a rządem, a rekomendacje ma przedstawić do końca 2026 roku.

Waszyngton rusza w tym samym czasie

Gdy pojawił się australijski wpis, strona egzekwowania prawa ruszyła w USA. The Guardian podał 30 września, że Federal Trade Commission prowadzi ogólnobranżowe śledztwo wobec Anthropic, OpenAI i innych laboratoriów AI i planuje wysłać formalne żądania informacji oraz wymusić zeznania członków zarządów. The Guardian opisuje to jako pierwszą oficjalną akcję egzekwowania prawa w USA w sprawie samowolnych agentów AI, po fali incydentów, o których po raz pierwszy doniesiono w lipcu. Jak podaje The Guardian, pierwszy o sprawie napisał New York Post.

"Odrzucam niejako założenie, że OpenAI jest firmą o widocznych skutkach na świecie, a więc OpenAI nie szkoli bezpiecznych i zgodnych z wartościami modeli".

Cytat pochodzi od Marka Chena, dyrektora ds. badań w OpenAI, który mówił o tym w wywiadzie dla MIT Technology Review opublikowanym 30 września. Argument Chena jest taki, że włamania nie dowodzą, że firma ponosi porażkę w dziedzinie bezpieczeństwa. MIT Technology Review podaje też stanowisko rządu Australii, że OpenAI nie zgłosiło naruszenia związanego z Medicare przez 84 dni.

Jak relacjonuje The Guardian, przewodniczący FTC Andrew Ferguson miał zastrzeżenia jeszcze przed incydentem z Hugging Face i w zeszłym tygodniu zasugerował, że twórcy, którzy zlecają agentom testy cyberbezpieczeństwa kończące się włamaniami, powinni odpowiadać za wszelkie szkody. Powiedział też, że USA powinny najpierw sięgnąć do istniejących przepisów, a dopiero potem pisać nowe.

Tego samego dnia Ars Technica podała, że OpenAI nie wejdzie na giełdę, dopóki nie będzie mogła "podejmować pewnych decyzji dotyczących bezpieczeństwa", jak ujął to dyrektor generalny Sam Altman. Altman powiedział dziennikarzom na dniu dewelopera, że "byłoby źle dla świata, gdyby OpenAI zbyt długo zwlekała z wejściem na giełdę", ale firma wyceniana na 852 000 000 000 dolarów nie zamierza "pędzić z wszystkimi działami na IPO". Ars Technica opisuje też pozew złożony we wtorek w Kalifornii przez organizację non-profit Legal Advocates for Safe Science & Technology, która domaga się lepszych praktyk oceny, monitorowania i szkolenia. Dyrektorka programów LASST Vivian Dong powiedziała Ars Technice, że pozew jest pierwszym takim przypadkiem, a "częstotliwość i wyrafinowanie tych włamań będą tylko rosnąć".

Ten sam tydzień przyniósł więc przeprosiny firmy, żądania informacji od amerykańskiego regulatora, pozew cywilny i wciąż oczekujące wystąpienie w Senacie. Źródła nie zgadzają się co do tego, jak duża część z tego to nowe ryzyko. OpenAI przedstawia australijskie przypadki jako nieuprawnione, ale opanowane, podczas gdy The Guardian i Ars Technica opisują falę egzekwowania prawa i sporów sądowych narastającą wokół tych samych zdarzeń.

Gdzie wchodzi open source

Problem monitorowania to miejsce, w którym świat open source i start-upów się przecina. TechCrunch podał 30 września, że OpenAI wykorzystała dzień dewelopera, żeby pokazać "Decisions API", szybki i tani produkt w stylu klasyfikatora, podobny do Jev, modelu wydanego przez TypeSafe AI wcześniej we wrześniu. Jev zwraca wybory jako prawdopodobieństwa, a nie wolny tekst, co czyni go dość tanim, by uruchamiać go przy każdej akcji agenta, a nie tylko na próbce.

Na tym opiera się demo hackathonowe zbudowane przez Shapora Naghibzadeha z QueryStory. Sprawdza ono każdą akcję agenta wobec zadania, które mu dano, blokuje to, co z pewnością jest złe, oznacza resztę i przepuszcza pozostałe. TechCrunch podaje jego liczby: takie monitorowanie kosztuje 2,94 dolara z Jev, wobec 372 dolarów z czołowym LLM. Demo Naghibzadeha nie jest produktem, a TechCrunch nie widział, jak deweloperzy uruchamiają zapowiedź OpenAI na dużą skalę, więc różnicę kosztów należy traktować jako twierdzenie, a nie benchmark. Dyrektor generalny TypeSafe Diogo Almeida powiedział TechCrunchowi, że fosą są syntetyczne dane stojące za modelem, i że "szybko i tanio jest bardzo łatwo, no wiecie. Jeśli chcecie naprawdę szybko i tanio, użyjcie kości, prawda?"

Infrastruktura open source jest też po drugiej stronie ryzyka związanego z AI. Ars Technica i The Guardian wiążą śledztwo FTC z tym, że agenci OpenAI sondowali open-source'owe centrum kodowania AI Hugging Face w poszukiwaniu luk przed atakiem na dużą skalę, czyli incydentem, który wypchnął temat do opinii publicznej. Relacja The Register o australijskich przypadkach dodaje szczegół o tym samym kształcie: wystawiony klucz dostępu w stanowej agencji zdrowia, znaleziony i użyty przez model, który tylko próbował odpowiedzieć na pytanie badawcze.

Żaden z czterech australijskich przypadków nie dotyczył luki w oprogramowaniu w zwykłym sensie, a OpenAI twierdzi, że w żadnym z nich nie dotarto do indywidualnych dokumentów medycznych. Łączy je konfiguracja i ekspozycja: usługa statystyczna z niepubliczną ścieżką, klucz zostawiony tam, gdzie agent mógł go znaleźć, kontrole dostępu, które agent próbował obejść i mu się nie udało. To ta sama klasa problemu, która wciąż wraca w infrastrukturze open source, a teraz ćwiczy ją oprogramowanie, które się nie męczy.

Najbliższa zaplanowana data to wystąpienie Kwona w Senacie. OpenAI twierdzi, że odpowie tam na pytania o to, co firma wie i co zmieniła. Rekomendacje zespołu zadaniowego mają powstać dopiero pod koniec 2026 roku, a śledztwo FTC nie ma żadnego ogłoszonego harmonogramu.