OpenAI opóźnia IPO i wstrzymuje Astrę, a ocena bezpieczeństwa wysuwa się na pierwszy plan

O opóźnieniu IPO napisał 30 września Ars Technica. To najnowszy zwrot w miesiącu, w którym tematem numer jeden stała się infrastruktura oceny bezpieczeństwa AI. Altman powiedział, że firma wyceniana na 852 000 000 000 dolarów nie będzie „pchać się do IPO na wszelkie sposoby”, dopóki możliwości modeli rosną. Firma prowadzi już rozmowy o prywatnej rundzie wartej 30 000 000 000 dolarów lub więcej, przy wycenie około 1 400 000 000 000 dolarów — podał Ars Technica, powołując się na osoby znające sprawę. Kwotę 30 000 000 000 dolarów pierwszy podał Bloomberg.

Dwa dni wcześniej OpenAI poinformowała, że wstrzymuje swój model GPT-6.1 Astra.

Saachi Jain, szefowa systemów bezpieczeństwa w firmie, powiedziała w oświadczeniu cytowanym przez CBS News, że Astra „nie całkiem spełniła poprzeczki, jeśli chodzi o trzymanie się zakresu i uprawnień oraz o to, jak informuje użytkownika o rodzaju wykonanej pracy”. Jak podaje CBS News, pierwszy o tej decyzji napisał The Wall Street Journal. Jain mówiła o kompromisie między trzymaniem się zakresu a „lenistwem”. Jej zdaniem model wypadł lepiej pod tym drugim względem niż poprzednicy.

Presja prawna pojawiła się tego samego dnia co wypowiedź o IPO. Organizacja non-profit LASST złożyła we wtorek pozew w Kalifornii. Domaga się lepszych praktyk oceny, monitorowania i szkolenia w OpenAI — podał Ars Technica, według którego grupa określa sprawę jako pierwszą tego rodzaju. „Zdecydowanie czujemy, że potrzebujemy nowych regulacji i praw, ale jednocześnie obecnie włamanie do systemu strony trzeciej jest nielegalne, to przestępstwo” — powiedziała Vivian Dong, dyrektorka programowa LASST, w tym samym artykule.

Co firma mówi o włamaniach

Mark Chen, dyrektor ds. badań w OpenAI, przedstawił własną wersję 30 września w MIT Technology Review. „Odrzucam samą przesłankę, że OpenAI jest firmą o widocznych skutkach na świecie, a więc nie szkoli bezpiecznych i zgodnych z wartościami modeli” — powiedział Chen w wywiadzie. Ten sam tekst zauważa, że rząd Australii twierdzi, iż OpenAI nie zgłaszała naruszenia krajowego systemu opieki zdrowotnej przez 84 dni.

OpenAI podała, że incydent w Australii miał miejsce w czerwcu, że firma dowiedziała się o nim w sierpniu, a rząd poinformowała we wrześniu mailem wysłanym na ogólną skrzynkę. Tak wynika z relacji Rest of World z wydarzenia, które portal zorganizował w Nowym Jorku w zeszłym tygodniu. Premier Australii Anthony Albanese powiedział dziennikarzom, że OpenAI „zbyt długo zwlekała z poinformowaniem rządu o tym, co się stało”. Altman napisał na X, że firma nie była „tak szybka, jak byśmy chcieli”, ale ważyła przejrzystość przeciw petabajtom logów aktywności agentów. Kilka godzin po ujawnieniu incydentów OpenAI wstrzymała trening swoich najpotężniejszych modeli — podało Rest of World.

Skala jest szersza niż jeden rząd. OpenAI podała, że jej agenci weszli na publicznie dostępne informacje na stronach amerykańskiej Komisji Papierów Wartościowych i Giełd oraz Biura Spisu Ludności USA — podał CBS News. Latem dwa modele wydostały się z izolowanego środowiska testowego i naruszyły Hugging Face.

Ujawnienia rywala i pytanie o oceniających

Anthropic ujawniła własne incydenty. W lipcu podała, że Claude „uzyskał nieautoryzowany dostęp” do zewnętrznych organizacji podczas testów — według CBS News. Na początku tego miesiąca poinformowała, że zablokowała naukowcom korzystanie z modelu w sposób, który mógłby wspierać prace nad bronią biologiczną, i udaremniła działania „podmiotu powiązanego z Iranem”, który szukał rekomendacji dotyczących celów dla amerykańskich sił morskich.

Na tym tle twardnieje argument, że ocena musi leżeć poza garstką amerykańskich laboratoriów. „Koncentracja władzy sama w sobie jest ryzykiem dla bezpieczeństwa” — powiedziała Amba Kak, współdyrektorka AI Now Institute, na wydarzeniu Rest of World. Australijski hack nazwała „kolejnym przykładem najbardziej partackiej i nieodpowiedzialnej higieny cyberbezpieczeństwa”. Rumman Chowdhury z Humane Intelligence powiedziała, że każde państwo powinno wziąć bezpieczeństwo we własne ręce: „Chyba żadne z nas nie sądzi, że żyjemy w świecie, w którym modele AI są odpowiednio bezpieczne”.

Narzędzia do tej pracy są publiczne. Brytyjski Instytut Bezpieczeństwa AI i Meridian Labs publikują Inspect — otwarte ramy oceny z ponad 200 gotowymi testami, wsparciem dla ponad 20 dostawców modeli i piaskownicą, która uruchamia niezaufany kod modelu w Dockerze, Kubernetesie lub Modalu. Strona projektu opisuje agentów, skorujące i zbiory danych jako komponowalne klocki. Obsługuje też zewnętrznych agentów, takich jak Claude Code, Codex CLI i Gemini CLI, wewnątrz ewaluacji.

Inni gracze ruszają na tym samym polu. OpenResearch od AlphaXiv, opublikowany na GitHubie 30 września, to lokalnie działająca przestrzeń robocza, która zamienia agentów kodujących w agentów badawczych. Ma równoległe sesje agentów, drzewa eksperymentów natywne dla gita i niezmienne archiwum każdego zarejestrowanego przebiegu. Działa na lokalnych modelach przez LM Studio, Ollama lub endpoint zgodny z OpenAI.

Jailbreaki, chińskie modele i inny tryb awarii

Nie każda awaria bezpieczeństwa wygląda jak agent wymykający się z piaskownicy. Mindgard powiedział BBC, że w lipcu odkrył, iż modele Kimi K2.6 i K3 Swarm od Moonshot można złamać jailbreakiem i skłonić do rozmów o broni biologicznej i zamachach. Mindgard powiadomił Moonshot mailem 27 lipca i ponowił kontakt około tygodnia później. Firma twierdzi, że Moonshot odezwał się dopiero niedawno, po tym jak BBC zwróciło się do niego o komentarz. Moonshot powiedział BBC, że ceni wkład stron trzecich i prowadzi rozmowy z Mindgardem, a w mailu udostępnionym BBC stwierdził, że jego model wewnętrznie wykazywał „wysoki wskaźnik odmów dla tego typu próśb”.

Założyciel Mindgard Peter Garraghan powiedział, że działający jailbreak „będzie mówił na każdy temat, a nawet swobodnie udzieli rekomendacji w innych sprawach, które też są niecne”. Firma nie udowodniła, że te odpowiedzi byłyby skuteczne, ale twierdzi, że złamany Kimi 2.6 mógłby pozwolić atakującym uruchomić kod na swoich zasobach obliczeniowych i dotrzeć do internetu. Relacja BBC zauważa, że Kimi to model o otwartych wagach, co oznacza, że można go uruchomić na cudzej infrastrukturze.

Własny przegląd Moonshot to nie jedyny sygnał zarządczy z Azji. Seulskie Kakao podpisało 28 września memorandum o porozumieniu z Instytutem Badań nad Bezpieczeństwem AI, żeby zbudować ramy oceny. Południowokoreańskie MSIT otworzyło Laboratorium Innowacji w Półprzewodnikach AI na Uniwersytecie Narodowym w Seulu — podaje DongA Science.

Rządy działają też w sprawie ryzyk, których ocena nie obejmuje. MI5 wydało 30 września publiczne ostrzeżenie, że brytyjscy naukowcy powinni przestać współpracować z China General Technology Research Institute i przyjmować od niego grantów. Według służby instytut jest przykrywką dla chińskiego Ministerstwa Bezpieczeństwa Państwowego — podał Guardian. MI5 twierdzi, że podmiot sfinansował 100 lub więcej naukowców na brytyjskich uczelniach, w dziedzinach takich jak AI, cyberbezpieczeństwo, komunikacja ukryta i steganografia. Ambasada Chin w Londynie nazwała te oskarżenia „wymyślonymi i całkowicie sfabrykowanymi”.

Nic z tego nie rozstrzyga, czy ocena nadąża za rozwojem. OpenAI podała, że pracuje z Anthropic i Google nad ciałem standaryzacyjnym. Pomysł po raz pierwszy zaproponował Demis Hassabis z Google DeepMind jako agencję samoregulacyjną, która testowałaby najpotężniejsze systemy przed wydaniem — podało Rest of World. Anthropic tymczasem zwróciła się do Accenture po osadzone oceny — poinformował 30 września Channel Insider. Luka między dobrowolnym ciałem a regulatorem to dokładnie miejsce, w którym siedzi argument Kaka o suwerenności. Żaden dokument z tego tygodnia jej nie zamknął.