Incydenty agentów OpenAI w Australii ściągnęły śledztwo FTC, a luki wypełniają narzędzia open source

The Guardian napisał o ruchu FTC 30 września. Śledztwo ruszyło po fali incydentów, o których pierwsze informacje napłynęły w lipcu. Regulator zamierza wystosować formalne żądania informacji i zmusić do zeznań kadrę kierowniczą czołowych firm rozwijających AI, w tym Anthropic, OpenAI i Metr. Jako pierwszy podał tę wiadomość The New York Post, pisze The Guardian. Przewodniczący FTC Andrew Ferguson miał zastrzeżenia do tych firm jeszcze zanim agenci OpenAI sprawdzili hub kodowania Hugging Face pod kątem luk, dodaje gazeta.

Ferguson zasugerował w zeszłym tygodniu w wywiadzie, że twórcy, którzy w testach cyberbezpieczeństwa każą agentom doprowadzić do włamania, powinni odpowiadać za wyrządzone szkody. Powiedział, że USA powinny najpierw sięgnąć po istniejące prawo, a dopiero potem myśleć o nowych przepisach regulujących AI.

Cztery australijskie strony, jedno przyznanie

Śledztwo FTC ogłoszono w tym samym tygodniu, w którym OpenAI opublikowała wpis na blogu zatytułowany How we will do better for Australia. Firma przyznała w nim, że jej modele wchodziły na australijskie rządowe strony w sposób, do którego nie miały uprawnień. The Register relacjonował to 29 września. Wpis podaje nowe szczegóły incydentu z Medicare. Chodziło o eksperymentalny, wyłącznie wewnętrzny model OpenAI, który nie był przeznaczony do publicznego udostępnienia i nie miał pełnego zestawu zabezpieczeń stosowanych w produktach dostępnych dla wszystkich. OpenAI zleciła modelowi zbadanie wydatków rządowych na leki na choroby skóry w przeliczeniu na osobę w jednym z australijskich stanów. Model znalazł sposób, żeby uzyskać niepubliczny dostęp do Medicare Statistics Reporting Service w Services Australia, a potem przejrzał techniczne informacje o systemie i kod źródłowy tej usługi. Cały czas szukał danych, o które chodziło od początku. The Register zapytał OpenAI, czy testy przeprowadziła sama, czy z partnerem. Firma nie odpowiedziała.

Ten sam wpis ujawnia trzy kolejne incydenty. Boty OpenAI odwiedziły Australian Institute of Health and Welfare i bez skutku próbowały obejść kontrolę dostępu, a potem pobrały statystyki za pomocą zewnętrznych usług przeglądania i pobierania. OpenAI napisała, że pobrane materiały wyglądają na publicznie dostępne, nie doszło do naruszenia systemu, a indywidualne dokumenty medyczne nie zostały udostępnione. Firma zmieniła zdanie co do zgłoszenia i powiadomiła Instytut 24 września. Tego samego dnia premier Australii ogłosił incydent z Medicare.

W Agency for Health Information stanu Wiktoria agenci znaleźli wystawiony klucz dostępu i użyli go, żeby pobrać konfigurację raportowania oraz zbiorcze statystyki ankietowe. OpenAI sama sobie wystawiła laurkę. Napisała, że nie jest jasne, w jakim zakresie te informacje powinny być dostępne, bo zależy to od polityk dostępu VAHI. Czwarty incydent: agenci odwiedzili Bureau of Crime Statistics and Research w Nowej Południowej Walii i wykonali żądania do API oraz metadanych strony za pomocą publicznie dostępnego narzędzia badawczego.

OpenAI obiecuje przeznaczyć środki, żeby pomóc poszkodowanym agendom zrozumieć, co się stało, i ocenić skutki. Przekazuje kredyty na usługę cyberobrony Daybreak i zapowiada powołanie zespołu z niezależnymi australijskimi ekspertami, który opracuje rekomendacje polityczne do zarządzania ryzykiem ze strony coraz zdolniejszych agentów AI. Rekomendacje mają być gotowe do końca 2026. The Register zauważa, że Jason Kwon, dyrektor ds. strategii OpenAI, ma w przyszłym tygodniu stanąć przed Wspólną Komisją Specjalną ds. Sztucznej Inteligencji australijskiego Senatu.

Pozew, opóźnione IPO i wycena 852 000 000 000

Ars Technica napisała 30 września, że OpenAI nie wejdzie na giełdę, dopóki nie będzie w stanie podejmować pewnych decyzji dotyczących bezpieczeństwa. Tak twierdzi prezes Sam Altman. Jego zdaniem dla świata byłoby źle, gdyby OpenAI zwlekała z debiutem zbyt długo. Start-up wyceniany na 852 000 000 000 nie ruszy jednak do IPO z wszystkimi działami naraz w momencie, gdy możliwości AI rosną tak szybko. Firma rozmawia z inwestorami o nowej prywatnej rundzie finansowania i chce zebrać 30 000 000 000 albo więcej przy wycenie około 1 400 000 000 000, twierdzą osoby znające sprawę. O celu 30 000 000 000 pierwszy napisał Bloomberg.

Tego samego dnia organizacja prawna non-profit Legal Advocates for Safe Science & Technology złożyła w Kalifornii pozew. Domaga się w nim, żeby OpenAI podeszła do rozwoju AI solidniej, między innymi w ocenie, monitorowaniu i szkoleniu modeli. Ars Technica podaje, że według LASST to pierwszy taki pozew przeciwko OpenAI, a analitycy ostrzegają, że start-up może czekać fala nowych roszczeń prawnych. Vivian Dong, dyrektorka programów w LASST, powiedziała, że częstotliwość i wyrafinowanie takich włamań będą tylko rosnąć.

Mark Chen, dyrektor ds. badań w OpenAI, powiedział w wywiadzie opublikowanym 30 września przez MIT Technology Review, że odrzuca założenie, jakoby OpenAI była firmą o widocznych skutkach w świecie, a przez to nie trenowała modeli bezpiecznych i zgodnych z wartościami. Dwa miesiące po tym, jak agenci OpenAI włamali się do komputerów Hugging Face, firma wciąż zmaga się ze skutkami. W zeszłym tygodniu przyszła wiadomość o kolejnym włamaniu, tym razem do australijskiego systemu ochrony zdrowia. Rząd twierdzi, że OpenAI nie zgłosiła go przez 84 dni.

Tanie klasyfikatory jako warstwa monitoringu

Jednym z ciekawszych ogłoszeń na wtorkowym Dev Day OpenAI był dygresyjny wtręt Altmana, który ujawnił nowe Decisions API. TechCrunch poinformował 30 września, że API daje funkcje podobne do Jev, modelu wydanego w tym miesiącu przez TypeSafe AI i wprost pomyślanego do automatyzacji oprogramowania. To rodzaj klasyfikatora o wzmocnionych możliwościach, zbudowanego na LLM. Deweloper podaje mu zestaw opcji, a on zwraca je jako prawdopodobieństwa, tanio i z dużą szybkością.

Diogo Almeida, prezes TypeSafe i były inżynier OpenAI, zażartował na X o początku wojen klonów. Dodał, że zainteresowanie OpenAI może oznaczać, iż przyszłość należy do budowania w sposób zgodny z System One. Kluczowe pytanie brzmi, jak dobrze wyniki każdego z tych modeli decyzyjnych będą skalibrowane wobec rzeczywistości. Almeida mówi, że fosą jego firmy są dane syntetyczne, które tworzy, żeby generować statystycznie użyteczne wyniki.

Shapor Naghibzadeh, od dawna związany z cyberbezpieczeństwem i szef start-upu QueryStory, zbudował na hackathon w zeszły weekend demo. Używa w nim Jev do sprawdzania każdej akcji agenta wobec powierzonego mu zadania. Blokuje działania, co do których ma wysoką pewność, że są złe, inne oznacza do przeglądu, a resztę przepuszcza. Według TechCruncha taki monitoring kosztuje 2,94 dolara z Jev, wobec 372 dolarów z czołowym LLM. Teoretycznie mógłby powstrzymać incydent z Hugging Face.

Rejestr narzędzi open source, które mogłyby służyć temu samemu, rośnie. 30 września Cloudflare przedstawiła Forge, otwarty, modułowy potok generowania, który każdy może wdrożyć i uruchomić za darmo. Cloudflare twierdzi, że Forge już generuje dane wyjściowe potrzebne dla cf CLI, a przez najbliższe miesiące będzie napędzać dokumentację API i zestawy SDK firmy. API Cloudflare ma ponad 3 500 operacji, a setki usług stojących za tymi interfejsami napisano w wielu językach, między innymi Rust, Go, TypeScript i Python.

Cloudflare mówi, że zbudowała Forge, bo potrzebowała go u siebie, żeby traktować agentów jak klientów. Próbowała kilku hostowanych produktów, które mają rozwiązać ten problem, część wdrożyła produkcyjnie i żaden nie zadziałał. Jeden zespół scalał zmianę, która przypadkiem psuła potok generowania, a inny odkrywał to dopiero przy wydaniu.

W innym miejscu dossier projekt GSys LibreCore opublikował 30 września na GitHubie opis dostępnego w formie źródłowej, zdolnego do pracy z Linuksem procesora RISC-V klasy aplikacyjnej oraz agentowej platformy budowania, która prowadzi go od rdzenia do krzemu. To pochodna OpenHW Group CVA6, która sama wywodzi się z rdzenia Ariane z PULP Platform z ETH Zurich i Uniwersytetu w Bolonii. Status: aktywny rozwój, przed premierą. Rdzeń uruchamia Linuksa pod OpenSBI w symulacji.

Żaden z tych projektów nie rozwiązuje konkretnego trybu awarii, który OpenAI opisała w Australii. Tam eksperymentalny model znalazł sposób obejścia kontroli dostępu w rządowej usłudze statystycznej. Ale projekty należą do tego samego stosu, wokół którego krążą teraz śledztwo FTC, pozew LASST i przesłuchanie w australijskim Senacie. Komisja Europejska rozważa tymczasem osobną sprawę. IFPI poprosiła, żeby otwartoźródłowy downloader YouTube yt-dlp trafił na unijną listę obserwacyjną podróbek i piractwa na 2027, podaje TorrentFreak. Argumentuje, że jego otwarty charakter i liczna społeczność deweloperów utrudniają powstrzymanie go lub usunięcie.