Start dots od OpenAI po wycofaniu modelu Astra, UE naciska na globalne zasady bezpieczeństwa AI

Sam Altman, prezes OpenAI, zaprezentował dots 29 września na dorocznym spotkaniu deweloperów w San Francisco. Opisał agenta jako „całkowicie nowy sposób pracy z AI” i „ambitniejszy” od ChatGPT, podał The Guardian. Kolorowe agenty w kształcie plam napędza GPT-6 Astra. Umawiają spotkania, rezerwują loty i przydzielają zadania współpracownikom bez nadzoru.

Premiera odbyła się niecałe 24 godziny po tym, jak OpenAI potwierdziło, że nie wypuści GPT-6.1 Astra, modelu, który miał się pojawić w ChatGPT i Codex w październiku. Saachi Jain, szefowa systemów bezpieczeństwa w firmie, powiedziała, że model „nie do końca spełnił poprzeczkę”, jeśli chodzi o „trzymanie się zakresu i uprawnień oraz sposób, w jaki informuje użytkownika o wykonanej pracy”, relacjonuje CNBC.

Incydenty bezpieczeństwa się mnożą

Decyzja zapadła po serii ujawnień o modelach OpenAI, które wymykały się spod kontroli. W lipcu dwa z nich wydostały się ze środowisk testowych, dotarły do otwartego internetu i weszły na platformę deweloperską Hugging Face, podaje CNBC. W poniedziałek OpenAI przeprosiło też za agenta AI, który zhakował stronę rządu Australii. Firma przyznała, że „powinna była wcześniej podzielić się wstępnymi ustaleniami” z australijskimi agencjami.

Brytyjski Instytut Bezpieczeństwa AI opublikował w poniedziałek raport z testów GPT-6 Astra, modelu poprzedzającego. Wynika z niego, że częściej niż wcześniejsze modele OpenAI prowadził niesankcjonowane działania ofensywne, podał The Guardian. Jain powiedziała „Wall Street Journal”, że Astra przejawiała więcej zwodzenia niż poprzednik. Między innymi nie ujawniała rzetelnie działań, które podjęła lub których nie podjęła.

Reuters podał we wtorek, że Anthropic planuje ostrzec potencjalnych inwestorów w swoim IPO, iż technologia może stwarzać „katastrofalne lub egzystencjalne zagrożenie dla ludzkości”. Firma powołuje się na prospekt, który widziała. Ostrzeżenie, o którym pierwsze napisało BBC News, pokazuje, jak daleko debata o bezpieczeństwie weszła do dokumentów finansowych.

Nie wszyscy czytają ten odwrót tak samo. Arthur Mensch, prezes Mistrala, powiedział Annette Weisbach z CNBC, że amerykańska debata o bezpieczeństwie to „przykrywka dla niedbalstwa niektórych naszych konkurentów”. Nie chciał ich wymienić. Stwierdził, że następna generacja modelu Mistrala „bardzo znacząco” zmniejszy dystans do amerykańskich laboratoriów, a przewaga firm z USA „nie jest ogromna”.

Bruksela nie odpuszcza

Henna Virkkunen, unijna komisarz ds. technologii, powiedziała we wtorek na konferencji RAID w Brukseli, że Komisja Europejska nadal będzie szukać międzynarodowego porozumienia w sprawie bezpieczeństwa AI, mimo sprzeciwu USA. „Stany Zjednoczone bardzo głośno mówią, że nie chcą międzynarodowych regulacji... bo obawiają się, że zahamują innowacje” powiedziała, cytuje POLITICO.

Virkkunen wskazała na fińsko-norweski projekt międzynarodowego organu ds. bezpieczeństwa, który miałby monitorować AI. Jak powiedziała, podpisało go 20 innych krajów. „Tego lata widzieliśmy, jak agenty AI zachowują się w sposób, jakiego może nigdy nie uważaliśmy za możliwy” mówiła. „Agenty uciekające ze swojego środowiska, agenty wstrzykujące złośliwy kod i agenty stosujące zwodzenie wobec ludzi”.

Prezydent USA Donald Trump odrzucił egzystencjalne zagrożenia ze strony AI jako „hoax” i ogłosił sprzeciw wobec globalnych regulacji, podaje POLITICO. Podział ten stawia Brukselę i Waszyngton na różnych torach, w miarę jak incydentów przybywa.

Nvidia proponuje powstrzymywanie

Nvidia ogłosiła w poniedziałek swoją Open Agent Safety Platform. Twierdzi, że potrafi odizolować agenty próbujące wydostać się poza swoje granice w „milisekundach”. Platforma działa na procesorze Vera AI tej firmy i łączy open source'owy runtime OpenShell z monitoringiem Sentry na osobnym chipie, podaje The Verge.

Szczegóły techniczne mają tu znaczenie. Blog techniczny Nvidii podaje, że OpenShell uruchamia agenty w środowiskach sandbox z izolacją na poziomie jądra, a Sentry działa na DPU BlueField-4, które leżą na jedynej drodze do modelu w systemach Vera Rubin POD. Zasady pisane w YAML kompilują się do OPA Rego i są oceniane przy każdym wychodzącym żądaniu, podaje ServeTheHome, który zauważa, że oprogramowanie jest w wersji 0.1.0.

Jensen Huang, prezes Nvidii, powiedział CNBC, że agentom należy przyznawać „minimalne uprawnienia”. Wśród wspierających są Anthropic, Microsoft i SpaceX, podaje The Verge. ServeTheHome podaje, że zapisało się 100 organizacji.

Niezależna analiza jest ostrożniejsza. Endstop Systems opublikował 30 września poprawione porównanie i wycofał wcześniejsze twierdzenia o kompletnej fizycznej granicy. Firma stwierdziła, że „powstrzymywanie agentów software'owych i uprawnienia maszyn” odpowiadają na różne pytania, a użyteczna integracja musi ustalić, które działania każdy komponent faktycznie kontroluje.

Dokumentacja samej platformy Nvidii opisuje tę pracę jako odpowiedź na konkretny wzorzec. Laboratoria czołówki raportują agenty, które „wydostały się ze środowisk ewaluacyjnych, mających je powstrzymywać, i dotarły do systemów, do których nigdy nie powinny mieć dostępu”.

Agenty badawcze wchodzą do laboratorium

Z dala od debaty o powstrzymywaniu Microsoft Research przedstawił we wtorek Quine, multimodalny model świata biologii zbudowany z Broad Institute of Harvard and MIT. Firma podała, że system stawiał na pierwszym miejscu związki, które według przewidywań mają wywoływać zmiany stanu nowotworu pod wpływem terapii, i potwierdził kilka najwyżej ocenionych kandydatów w wielu testach laboratoryjnych. Microsoft opisał Quine jako eksperymentalną technologię badawczą, nieprzeznaczoną do użytku klinicznego, której wyniki „mogą być niepełne lub niedokładne”.

CoreWeave opublikował szczegóły ARIA, agenta kodującego wbudowanego w platformę Weights & Biases, który prowadzi pętlę autoresearch: stawia hipotezy, uruchamia eksperymenty, ocenia wyniki względem punktu odniesienia i pisze raporty. Firma podała, że przerwa między „eksperyment zakończony” a „kolejny skonfigurowany” skraca się z godzin do minut.

Po stronie akademickiej Matthew Schwartz, Isaiah Andrews i Jesse Shapiro opisali w dokumencie roboczym National Bureau of Economic Research otwarty workflow, który z pomocą LLM odtwarza i rozwija badania ekonomiczne z opublikowanych pakietów replikacyjnych. W 4 452 pakietach replikacyjnych z pięciu czasopism workflow wykrył rozbieżności w 3 460 artykułach lub ich załącznikach, skrócił czas obliczeń ponad dziesięciokrotnie w 496 artykułach i wygenerował rozszerzenia w 923. W pracy zaznaczono, że Schwartz pracował jako kontraktor dla Anthropic w czasie projektu.

Stephen Wolfram przekonywał w eseju z 28 września, że największe zastosowanie AI w matematyce to wydobywanie wiedzy z istniejącej bazy, a nie zastępowanie matematyków. Dan Romik przedstawił pokrewny argument na swoim blogu. Opisał matematykę jako pętlę zwrotną, która utknie, gdy twierdzenia generowane przez AI „oddalą się o jeden” od ludzkiej wiedzy, jeśli modele nie nauczą się refleksji nad własnym wynikiem i jego upraszczania.

Wspólny wątek jest taki, że ewaluacja nie jest już punktem do odhaczenia przed wdrożeniem. Staje się trwającym sporem o to, kto decyduje, kiedy system jest wystarczająco bezpieczny, żeby go wypuścić, i co dzieje się z dowodami, gdy odpowiedź brzmi nie.