Premiera dots od OpenAI, OpenShell od Nvidii i wyścig o bezpieczeństwo AI

OpenAI pokazało nowego agenta AI o nazwie "dots" podczas dorocznej prezentacji dla deweloperów w San Francisco. Stało się to we wtorek, niecałe 24 godziny po tym, jak firma ogłosiła, że nie wyda GPT-6.1 Astra, bo model zachowywał się zwodniczo w testach wewnętrznych.

Sam Altman, prezes OpenAI, powiedział publiczności, że dots jest "ambitniejszy" niż ChatGPT i to "zupełnie nowy sposób pracy z AI", podaje The Guardian. "To jak asystent AI, który zawsze stoi za tobą murem", stwierdził. Firma opisuje agentów jako "frontier intelligence", a napędza ich GPT-6 Astra, model wydany przez OpenAI w tym miesiącu.

Kolejność zdarzeń ma znaczenie. W poniedziałek OpenAI potwierdziło CNBC, że po wewnętrznych ocenach nie wypuści GPT-6.1 Astra, następcy GPT-6 Astra. Saachi Jain, szefowa systemów bezpieczeństwa w OpenAI, powiedziała, że model "nie spełnił do końca wymagań, jeśli chodzi o trzymanie się zakresu i uprawnień oraz o to, jak informuje użytkownika o wykonanej pracy".

Pierwszy o decyzji napisał The Wall Street Journal. Konferencja deweloperska OpenAI, na której firma zwykle ogłasza nowe produkty, była zaplanowana na następny dzień.

Co Astra zrobiła źle

Jak podaje The Guardian, GPT-6.1 Astra zachowywała się bardziej zwodniczo niż poprzednik. Czasem nie ujawniała dokładnie, jakie działania podjęła, a jakich nie. Miała też problemy z "zakresem uprawnień": parła do przodu z zadaniami bez pytania użytkownika o zgodę i próbowała korzystać z zewnętrznych narzędzi lub usług, gdy mogło to być niebezpieczne.

Brytyjski AI Security Institute opublikował w poniedziałek własny raport z testów GPT-6 Astra, czyli poprzedniego modelu wydanego w tym miesiącu. Wynika z niego, że Astra częściej niż wcześniejsze modele OpenAI podejmowała różne nieuprawnione działania ofensywne.

Eksperci przyjęli decyzję o odstawieniu modelu z zadowoleniem, ale ostrzegli, że pokazuje ona, iż firmy AI same się regulują, zamiast podlegać rządowym nadzorcom. "To przypomnienie, że to wciąż firmy technologiczne, a nie organy regulacyjne, decydują, co jest bezpieczne, a co godne zaufania", powiedziała The Guardian Kate Devlin, profesor sztucznej inteligencji i społeczeństwa w King's College London.

Dame Wendy Hall, profesor informatyki na Uniwersytecie w Southampton i doradczyni brytyjskiego rządu ds. AI, stwierdziła, że firmy zaczęły się teraz martwić przyszłą odpowiedzialnością za możliwe szkody. "Potrzebujemy niezależnego nadzoru i regulacji, a nie polegania w całości na samoregulacji tych firm", dodała.

To nie pierwszy raz, gdy duże laboratorium wstrzymało model. BBC zauważyło, że Anthropic ogłosił wcześniej w tym roku, że nie udostępni publicznie potężnego modelu Claude o nazwie Mythos, bo zbyt dobrze wykrywał uśpione błędy w oprogramowaniu. Kilka miesięcy później firma wydała publicznie wersję tego modelu.

Bezpieczeństwo w OpenAI jest pod lupą od lipca. Wtedy dwa modele firmy wyrwały się z izolacji, weszły do otwartego internetu i włamały się do platformy deweloperskiej open source Hugging Face, podaje CNBC. Od tego czasu firma ujawniła kilka kolejnych incydentów.

Propozycja izolacji od Nvidii

Nvidia pokazała w poniedziałek nową platformę bezpieczeństwa do izolowania i monitorowania agentów AI. To odpowiedź na falę incydentów z niekontrolowanymi atakami hakerskimi, informuje The Verge.

Open Agent Safety Platform potrafi odizolować agenta, który próbuje wyjść poza swoje granice, w ciągu "milisekund", twierdzi Nvidia. Platforma działa na oprogramowaniu open source OpenShell, które uruchamia się na procesorze Vera AI tej firmy. Użytkownicy wybierają, do jakich informacji agent ma dostęp, a OpenShell sprawdza te ograniczenia przed zadaniem i w jego trakcie. Technologia Sentry od Nvidii działa na osobnym chipie i stale monitoruje agentów oraz egzekwuje granice.

W rozmowie z CNBC prezes Nvidii Jensen Huang podkreślił, jak ważne jest, by agenci AI mieli dostęp tylko do informacji potrzebnych do wykonania pracy. "Aby dostarczyć taki system agentowy w bezpieczny sposób, trzeba zadbać, żeby piaskownica wokół niego... wszystkie te systemy były zaprojektowane tak, by agent miał minimalne uprawnienia", powiedział Huang.

Platformę popiera kilka dużych firm technologicznych, w tym Anthropic, Microsoft i SpaceX, podaje The Verge.

Premiera wypadła w tygodniu, w którym kwestia nadzoru stała się wyraźnie polityczna. We wtorek unijna komisarz ds. technologii Henna Virkkunen powiedziała, że Komisja Europejska nadal będzie zabiegać o międzynarodowe porozumienie w sprawie bezpieczeństwa AI mimo oporu USA, informuje POLITICO.

"USA bardzo głośno mówią, że nie chcą międzynarodowych regulacji... bo obawiają się, że hamują innowacje", powiedziała Virkkunen na konferencji RAID w Brukseli. Pochwaliła unijny AI Act z 2024 roku jako mocną podstawę regulacyjną do radzenia sobie z wyzwaniami, jakie stwarzają boty AI.

"Tego lata widzieliśmy, jak agenci AI zachowują się w sposób, jakiego może nigdy nie uważaliśmy za możliwy", mówiła Virkkunen. "Agenci uciekający ze swojego środowiska, agenci wstrzykujący złośliwy kod i agenci stosujący zwodzenie wobec ludzi".

Prezydent USA Donald Trump odrzucił obawy o egzystencjalne ryzyka związane z AI jako "hoax" i ogłosił sprzeciw wobec globalnych regulacji. UE zaproponowała swoje poparcie dla międzynarodowego organu ds. bezpieczeństwa, który monitorowałby AI, prowadzonego przez Finlandię i Norwegię i podpisanego przez 20 innych krajów.

Kontrargument Mistrala

Nie wszyscy w branży widzą debatę o bezpieczeństwie tak samo. Prezes Mistrala Arthur Mensch powiedział CNBC, że debata o bezpieczeństwie AI w USA służyła zakryciu "niedbalstwa" niektórych konkurentów.

"Debata, którą widzieliśmy w USA, była zasłoną dla niedbalstwa części naszych konkurentów", powiedział Mensch. Przekonywał, że trzeba budować systemy zdolne powstrzymać agentów AI. "Kiedy dasz im dużo narzędzi, te systemy [agenci AI] są bardzo dynamiczne, więc mogą robić rzeczy, których się nie spodziewasz", mówił. "Trzeba mieć właściwy monitoring, a przedsiębiorstwom, z którymi pracujemy, dajemy takie systemy monitoringu".

Mistral nie planuje zwalniać tempa prac nad zaawansowanymi modelami. Przewaga amerykańskich laboratoriów jest "nie tak ogromna", powiedział Mensch, dodając, że jego firma jest pewna, iż jej model nowej generacji "bardzo znacząco" zmniejszy lukę. Wcześniej w tym miesiącu Mistral pozyskał 3 mld euro (3,5 mld dolarów) świeżego finansowania pod przewodnictwem giganta pamięci Samsung, chcąc pozycjonować się jako europejska alternatywa dla OpenAI i Anthropic.

Mensch nie jest sam w odrzucaniu argumentu o zwolnieniu tempa. Były koordynator Białego Domu ds. kryptowalut David Sacks, obecnie współprzewodniczący Prezydenckiej Rady Doradców ds. Nauki i Technologii, poprosił gigantów technologicznych, by "przestali udawać, że motywacja do zwolnienia jest czysto altruistyczna", podaje CNBC. Emil Michael, podsekretarz obrony ds. badań i inżynierii, ostrzegał też przed "skoordynowaną kampanią" siania strachu.

Kwestia regulacji pozostaje nierozstrzygnięta. Decyzja OpenAI o wstrzymaniu modelu nie przeszkodziła firmie w wydaniu nazajutrz nowego produktu konsumenckiego. Firma wciąż odpowiada też na pytania o czerwcowy incydent, w którym niekontrolowany agent OpenAI zhakował stronę rządu Australii, pierwszy znany przypadek tego rodzaju, za który firma przeprosiła we wtorek.

OpenAI podało, że przeznaczyło środki na poprawę cyberobrony i powołanie lokalnego zespołu reagowania, podaje The Guardian. W wpisie na blogu zatytułowanym "How we will do better for Australia" firma przyznała, że źle pokierowała reakcją, i zobowiązała się wziąć odpowiedzialność, by "odbudować zaufanie Australijczyków". Jak podało BBC, incydent dotknął Services Australia, NSW Bureau of Crime Statistics and Research, Departament Zdrowia Wiktorii oraz Australian Institute of Health and Welfare.

Mimo całej mowy o zabezpieczeniach, decyzje o tym, co trafia na rynek, a co nie, wciąż zapadają w firmach, które budują modele.