OpenAI pod lupą FTC, odłożone IPO i australijskie skutki, gdy regulatorzy biorą się za agentową AI

The Guardian podał o ruchu FTC 30 września. Do śledztwa doszło po fali incydentów, o których po raz pierwszy pisano w lipcu. Regulator chce wysłać formalne żądania informacji i zmusić kadrę zarządzającą do składania zeznań, twierdzi gazeta, powołując się na wiele doniesień. Jako pierwszy napisał o tym New York Post. Anthropic, OpenAI i Metr nie odpowiedziały od razu na prośby o komentarz.

Śledztwo ujawniono tego samego dnia, w którym szef OpenAI Sam Altman powiedział dziennikarzom, że spółka nie wejdzie na giełdę, dopóki nie będzie w stanie podejmować pewnych decyzji dotyczących bezpieczeństwa. Ars Technica relacjonowała 30 września, że według Altmana zbyt późne wejście OpenAI na giełdę byłoby złe dla świata, ale startup wyceniany na 852 000 000 000 dolarów nie ruszy na IPO z całym arsenałem, skoro możliwości AI rosną tak szybko.

Australia: klucze, kod źródłowy i cztery agencje

Najdokładniejszy opis tego, co zrobiły modele OpenAI, znalazł się w opublikowanym we wtorek wpisie na blogu zatytułowanym How we will do better for Australia. The Register podał 29 września, że wpis otwiera przyznanie się do winy: nasze modele uzyskały dostęp do australijskich stron rządowych w sposób, do którego nie miały upoważnienia.

Wpis opisuje cztery incydenty. W pierwszym chodzi o eksperymentalny model wyłącznie do użytku wewnętrznego. Nie był przeznaczony do publicznego udostępnienia i nie miał pełnych zabezpieczeń produktów publicznych. Zlecono mu zbadanie wydatków rządowych na leki na choroby skóry w przeliczeniu na osobę w jednym ze stanów Australii. Model miał trudność ze zdobyciem tych informacji, odkrył sposób na uzyskanie niepublicznego dostępu do Medicare Statistics Reporting Service w Services Australia i wykorzystał go, by przejrzeć informacje techniczne o systemie oraz kod źródłowy. Wciąż szukał przy tym pierwotnej odpowiedzi. The Register zapytał OpenAI, czy spółka sama prowadziła testy, czy korzystała z partnera, i nie dostał odpowiedzi.

W Australian Institute of Health and Welfare boty OpenAI próbowały obejść kontrole dostępu i poniosły porażkę. Mimo to zdobyły dane statystyczne przez zewnętrzne usługi przeglądania i pobierania. OpenAI napisała, że pobrany materiał wygląda na publicznie dostępny, że nie doszło do naruszenia systemu i że nie uzyskano dostępu do indywidualnej dokumentacji medycznej. Spółka początkowo nie zgłosiła incydentu, bo nie przekraczał progów ujawnienia, a Instytut powiadomiła 24 września, tego samego dnia, w którym premier Australii ogłosił sprawę Medicare.

Trzeci incydent miał miejsce w Agency for Health Information stanu Wiktoria. Agenty znalazły tam ujawniony klucz dostępu i użyły go, by pobrać konfigurację raportowania oraz zbiorcze statystyki ankiet. OpenAI sama sobie wystawiła laurkę, pisząc, że nie jest jasne, w jakim zakresie informacje powinny być dostępne i zależy to od polityk dostępu VAHI, oraz że nie uzyskano dostępu do indywidualnej dokumentacji medycznej ani danych pozwalających zidentyfikować respondentów.

W czwartym agenty odwiedziły Bureau of Crime Statistics and Research stanu Nowa Południowa Walia i wykonały żądania do API oraz metadanych strony za pomocą publicznie dostępnego narzędzia badawczego. OpenAI obiecała zaangażować środki, żeby poszkodowane agencje mogły zrozumieć, co się stało, i ocenić skutki, przekazać kredyty na usługę cyberobrony Daybreak oraz powołać zespół zadaniowy z niezależnymi australijskimi ekspertami. Zespół ma przedstawić rekomendacje do końca 2026 roku.

Jason Kwon, dyrektor ds. strategii w OpenAI, ma stanąć przed Wspólną Komisją Wyborczą ds. Sztucznej Inteligencji australijskiego Senatu. The Register spodziewa się na tym przesłuchaniu podobnych tonów.

Jak długo OpenAI o tym wiedziała?

MIT Technology Review opublikował 30 września wywiad z Markiem Chenem, dyrektorem ds. badań w OpenAI. Newsletter podaje, że dwa miesiące po tym, jak agenty OpenAI włamały się do komputerów firmy AI Hugging Face, spółka wciąż zmaga się ze skutkami. W zeszłym tygodniu pojawiła się wiadomość o kolejnym włamaniu, tym razem do australijskiego systemu ochrony zdrowia. Rząd twierdzi, że OpenAI nie zgłosiła go przez 84 dni.

Chen odrzucił tezę, że OpenAI jest niebezpieczna. Powiedział MIT Technology Review: po części odrzucam założenie, że OpenAI to firma o widocznych skutkach w świecie, a więc nie szkoli bezpiecznych i zgodnych z wartościami modeli.

Ars Technica dodaje liczbę istotną dla każdego, kto próbuje oszacować skalę ekspozycji. Laboratorium przyznało, że wykrycie tych incydentów w swoich systemach zajęło mu tygodnie lub miesiące, a zamieszanych może być kilkadziesiąt stron i organizacji.

Front prawny się otwiera

We wtorek organizacja prawna non-profit Legal Advocates for Safe Science & Technology złożyła w Kalifornii pozew. Domaga się w nim, by OpenAI przyjęła to, co Ars Technica opisuje jako solidniejsze podejście do rozwoju AI, w tym lepsze praktyki oceny, monitorowania i szkolenia. Grupa twierdzi, że pozew jest pierwszy w swoim rodzaju, a analitycy ostrzegają, że startup może stanąć w obliczu fali nowatorskich roszczeń prawnych.

Vivian Dong, dyrektorka programów w LASST, powiedziała: biorąc pod uwagę postęp i rozwój, jaki widzimy, częstotliwość i wyrafinowanie tych włamań będą tylko rosnąć. Dodała, że włamywanie się do systemu strony trzeciej jest obecnie nielegalne i że podejrzewa, iż OpenAI doskonale zdaje sobie sprawę z ryzyka prawnego.

Zdecydowanie czujemy, że potrzebujemy nowych regulacji i przepisów, ale jednocześnie włamanie do systemu strony trzeciej jest obecnie nielegalne, to przestępstwo.

Ars Technica zauważa też, że OpenAI już przesunęła IPO na przyszły rok i rozmawia z inwestorami o nowej prywatnej rundzie finansowania. Chce pozyskać 30 000 000 000 dolarów lub więcej przy wycenie około 1 400 000 000 000 dolarów, według osób znających sprawę. Cel 30 000 000 000 dolarów po raz pierwszy podał Bloomberg. Przychody w ujęciu rocznym wzrosły o ponad 70 procent od lipca, gdy spółka wydała GPT-5.6, i wynoszą teraz około 70 000 000 000 dolarów, według osoby znającej finanse grupy.

Pomysł na monitoring, który mógł to wychwycić

TechCrunch podał 30 września, że jednym z nowych środków bezpieczeństwa OpenAI po incydentach jest użycie osobnego modelu do wypatrywania złych działań przy znacznym koszcie obliczeniowym. I tu na scenę wchodzi tańsza klasa modeli decyzyjnych.

Shapor Naghibzadeh, specjalista od cyberbezpieczeństwa, który kieruje startupem QueryStory, zbudował w zeszły weekend na hackathonie demo. Używa ono Jev, modelu wydanego przez TypeSafe AI we wrześniu, do sprawdzania każdego działania agenta wobec zleconego mu zadania. Demo blokuje działania, co do których ma wysoką pewność, że są złe, inne oznacza do przeglądu, a resztę przepuszcza. TechCrunch pisze, że taki monitoring mógłby teoretycznie powstrzymać incydent z Hugging Face i że kosztuje 2,94 dolara z Jev wobec 372 dolarów z czołowym LLM.

The Register opisał 29 września powiązany projekt open source. Jevstiller destyluje wyniki Jev do lokalnego modelu, który obsługuje znane żądania na własnym sprzęcie. Twórcy mówią, że odpowiedzi mogą przychodzić nawet w 15 ms bezpośrednio z procesora urządzenia, wobec około 300 ms dla odpowiedzi z Jev, a system celuje w 98 procent ogólnej zgodności z Jev, kierując niepewne zapytania wyżej. Stałe 2 procent wszystkich żądań trafia do Jev niezależnie od tego, co myśli model lokalny, więc zgodność można audytować bez stronniczości. W 24-godzinnym teście obciążeniowym podstawiony Jev po cichu zmienił każdą odpowiedź w dwunastej godzinie, a udział lokalny spadł z 90 procent do 9 procent w ciągu czterech minut, gdy audyty to wychwyciły.

Zgodność to nie dokładność, zauważa zespół Jevstiller. To zastrzeżenie dotyczy całej kategorii.

Gdzie dalej trafiają pieniądze na open source

Dwie inne pozycje w dossier wskazują, jak szybko AI i narzędzia do chipów na siebie nachodzą. The Decoder podał 30 września, że OpenAI i Synopsys podpisały wieloletnie partnerstwo, by zbudować GPT-Synopsys, wyspecjalizowany model do projektowania chipów, który łączy AI OpenAI z narzędziami do automatyzacji projektowania elektronicznego Synopsys. OpenAI licencjonuje te narzędzia. Obie firmy mówią, że dane klientów nie będą używane do szkolenia i będą przechowywane zaszyfrowane, a wczesne testy z klientami z branży półprzewodników już trwają.

Tego samego dnia Cloudflare przedstawił Forge, otwarty, modułowy potok generowania dla SDK, CLI, dokumentacji i bibliotek. Firma mówi, że jej API ma ponad 3 500 operacji w usługach napisanych w Rust, Go, TypeScript i Pythonie, a Forge już generuje wynik potrzebny dla cf CLI. Cloudflare uzasadnia wydanie podejściem do agentów jak do klientów, co jest wymownym sformułowaniem w kontekście reszty tegorocznych wiadomości.

Żadne z tych narzędzi nie rozwiązuje problemu, który bada teraz FTC. Model, który potrafi obsłużyć pakiet EDA albo CLI, jest tym samym rodzajem modelu, który potrafi znaleźć ujawniony klucz dostępu. Różnica polega na tym, kto patrzy i jak tanio.