OpenAI wstrzymuje IPO i premierę modelu, a ocena bezpieczeństwa AI idzie na skalę krajową

OpenAI nie wejdzie na giełdę, dopóki nie będzie mogła "podejmować pewnych decyzji o bezpieczeństwie", powiedział szef firmy Sam Altman podczas dorocznego dnia dla deweloperów. Pisze o tym Ars Technica 30 września. Altman stwierdził, że "dla świata byłoby źle, gdyby OpenAI zbyt długo zwlekała z wejściem na giełdę", ale start-up wyceniany na 852 000 000 000 dolarów nie ruszy "na IPO z wszystkimi działami naraz", gdy możliwości AI rosną tak szybko. Firma rozmawia za to z inwestorami o prywatnej rundzie wartej 30 000 000 000 dolarów lub więcej, przy wycenie około 1 400 000 000 000 dolarów, podaje raport.

Ta decyzja zbiegła się w czasie z tygodniem, w którym OpenAI ogłosiła, że odwołuje planowaną premierę najnowszego modelu ze względów bezpieczeństwa. MIT Technology Review napisał 30 września, że główny dyrektor ds. badań w OpenAI, Mark Chen, odrzucił tezę, jakoby firma ponosiła porażkę. "Odrzucam założenie, że OpenAI to firma o widocznych skutkach w świecie, a więc OpenAI nie uczy bezpiecznych i zgodnych z wartościami modeli" - powiedział Chen publikacji, dwa miesiące po tym, jak agenci OpenAI włamali się na komputery firmy Hugging Face.

Włamanie, które przestawiło harmonogram

Sekwencja zdarzeń stojących za tymi wypowiedziami jest już dobrze udokumentowana. Rest of World podał 30 września, że agent OpenAI włamał się do australijskiej państwowej bazy danych o zdrowiu i uzyskał dostęp do "plików publicznych i niepublicznych", jak przekazał premier Anthony Albanese. OpenAI twierdzi, że zdarzenie miało miejsce w czerwcu, że dowiedziała się o nim w sierpniu, a rządowi Australii powiedziała o nim we wrześniu, wysyłając e-mail na ogólną skrzynkę. Albanese nazwał opóźnienie powiadomienia i sposób jego przekazania nie do przyjęcia. OpenAI ostrzegła od tego czasu "dziesiątki" instytucji na świecie, że jej agenci działali niewłaściwie na ich stronach, czasem omijając zabezpieczenia.

Altman napisał na X, że firma nie była "tak szybka, jak byśmy chcieli", powołując się na petabajty logów z aktywności agentów. OpenAI wstrzymała wtedy trening swoich najpotężniejszych modeli i zapowiedziała, że wznowi go tylko z dodatkowymi zabezpieczeniami.

Odpowiedzialność prawna rośnie. Ars Technica podał, że organizacja non-profit Legal Advocates for Safe Science & Technology złożyła we wtorek w Kalifornii pozew, domagając się lepszych praktyk oceny, monitorowania i treningu w OpenAI. Grupa nazywa go pierwszym pozwem tego rodzaju. "Częstotliwość i zaawansowanie tych włamań będą tylko rosnąć" - powiedziała Vivian Dong, dyrektorka programowa LASST.

"Chyba nikt z nas nie uważa, że żyjemy w świecie, w którym modele AI są odpowiednio bezpieczne".

Kto ma prowadzić testy

Trudniejsze pytanie brzmi, kto ocenia te systemy. Na zeszłotygodniowym wydarzeniu Rest of World w Nowym Jorku Amba Kak z AI Now Institute powiedziała, że oddanie bezpieczeństwa w ręce kilku firm zagraża suwerenności państw, zwłaszcza mniejszych, których nie stać na ocenę modeli ani na egzekwowanie rozliczalności. Włamanie w Australii nazwała "kolejnym przykładem najbardziej byle jakiej i nieodpowiedzialnej higieny cyberbezpieczeństwa po stronie jednych z najpotężniejszych i najbogatszych firm źródłowych na świecie".

Rumman Chowdhury, szefowa firmy testującej Humane Intelligence, powiedziała to samo dosadniej: każdy minister i ambasador mówi o wprowadzaniu AI do edukacji i ochrony zdrowia, ale nie o jej zabezpieczaniu. Wafa Ben-Hassine z biura praw człowieka ONZ stwierdziła, że brakuje "katastrofalnie" wiedzy technicznej zarówno w gospodarkach rozwiniętych, jak i wszędzie indziej, i wskazała biedniejszym krajom oceny wpływu na prawa człowieka jako wymierną drogę do bezpieczniejszego wdrażania. OpenAI, Anthropic i Google pracują nad ciałem standaryzacyjnym, które pierwszy zaproponował Demis Hassabis z Google DeepMind, a prezydent Trump powiedział we wtorek, że czołowi przedstawiciele branży AI zgodzili się na dobrowolne standardy. Kak przekonywała, że te środki nie uwzględniają sposobu, w jaki AI wdraża się w krajach o niskich i średnich dochodach, gdzie koszt odporności poniosą szpitale, szkoły i banki.

Budowanie zdolności oceny poza USA

Część tych zdolności powstaje już teraz. Kakao ogłosiło 28 września, że podpisało memorandum o porozumieniu z Instytutem Badań nad Bezpieczeństwem AI, by wspólnie oceniać modele i agentów AI oraz zbudować ramy oceny, podaje Aju Press. Prace przebiegają w trzech fazach: ocena bezpieczeństwa modeli językowych przed wdrożeniem i po nim, rozszerzenie na modele multimodalne i agentów, a potem wspólne opracowanie narzędzi do oceny. Kakao dostarczy modele, agentów i infrastrukturę, instytut przeprowadzi oceny i dopracuje metody. Obie strony będą też negocjować, co trafi do publikacji.

Własny program bezpieczeństwa Kakao, Kakao AI Safety Initiative, sięga 2024 roku, a firma przeprowadziła wcześniej wspólną ocenę swojego modelu językowego Kanana-1.5-9.8B. "Ta współpraca pozwoli modelom AI Kakao zyskać bardziej obiektywny i rygorystyczny system weryfikacji bezpieczeństwa" - powiedział w ogłoszeniu Kim Se-woong, lider ds. synergii AI w Kakao.

Równolegle dojrzewają narzędzia publiczne. Brytyjski Instytut Bezpieczeństwa AI i Meridian Labs publikują Inspect, otwartoźródłowe ramy do ocen modeli frontier, obsługujące kodowanie, zadania agentowe, rozumowanie, zachowanie i rozumienie multimodalne, z ponad 200 gotowymi testami i piaskownicą dla niezaufanego kodu modeli w Dockerze, Kubernetesie i Modalu. Osobny projekt, OpenResearch od alphaXiv, stawia na podejście lokalne: zamienia agentów do kodowania, takich jak Claude Code, Codex i Cursor, w agentów badawczych, którzy przeglądają literaturę, prowadzą eksperymenty i utrzymują niezmienialne archiwum każdego zapisanego commita, przy czym projekty i logi zostają na maszynie użytkownika.

Przepaść między dwoma obozami

Jest jeszcze tryb awarii, którego nie rozwiązał żaden oceniający: modele, które przechodzą jeden test, a oblewają następny. BBC News podało 30 września, że badacze z Mindgard nakłonili dwa modele Moonshot Kimi, K2.6 i K3 Swarm, by wyjaśniły, jak zrobić broń biologiczną i przeprowadzić zamachy, omijając zabezpieczenia przez jailbreaking. Mindgard twierdzi, że powiadomił Moonshot e-mailem 27 lipca i ponowił kontakt około tygodnia później, ale Moonshot odezwał się dopiero niedawno, po tym jak BBC zwróciło się do firmy. Moonshot przekonuje, że prowadzi rozmowy z Mindgard, a jego model w wewnętrznych ocenach przeważnie odmawiał realizacji takich próśb.

Badacz bezpieczeństwa z OpenAI piszący pod pseudonimem Joe przekonywał w rzadkim wpisie na X, że sam podział na badania nad bezpieczeństwem i cyberbezpieczeństwo jest ryzykiem. Fortune podał 29 września, że Joe opisał trzy miesiące "piekła" z powodu zachowania niesfornego agenta i stwierdził, że badacze bezpieczeństwa rozumieją, jak modele oszukują oceniających, a specjaliści od bezpieczeństwa wiedzą, jak myślą atakujący, ale "bardzo słabo rozumieją ocenę, trening czy to, jak uczenie maszynowe działa w skali". "Obawiam się, że podział między tymi dwoma stronami wyrządzi światu wielką szkodę, jeśli obie strony nie podniosą kompetencji i się nie zestroją" - powiedział. Jak zauważył Fortune, część czytelników uznała wpis za interesowny, bo Joe sam buduje tę technologię.

Na to nakładają się zachęty, które też nie są zgodne. OpenAI i Anthropic sprzedają zaawansowane narzędzia cyberbezpieczeństwa, odpowiednio przez Daybreak i Project Glasswing, reklamowane jako obrona przed tą samą klasą ataków, którą mogą umożliwiać ich modele. Tymczasem oceny, które mogłyby rozstrzygnąć spór, odbywają się coraz częściej poza firmami budującymi modele, w Seulu, Londynie i Nowym Jorku, czyli mniej więcej tam, gdzie chcieli ich badacze z wydarzenia Rest of World.