Nvidia otwiera platformę bezpieczeństwa agentów, gdy Google, OpenAI i Anthropic planują własny organ standardów

Platforma Nvidii składa się z dwóch części. OpenShell to runtime open source, który umieszcza każdego agenta we własnym sandboxie. Operatorzy decydują tam, do jakich plików, sieci, narzędzi i poświadczeń agent może uzyskać dostęp. Narzędzie jest dostępne na GitHubie, zoptymalizowane pod procesory Vera Nvidii, ale działa też na chipach Arm i Intela. Sentry to osobny nadzorca działający na jednostkach przetwarzania danych BlueField-4 Nvidii, poza maszyną, której używa agent. Nvidia twierdzi, że Sentry może odizolować agenta w milisekundach, jeśli ten próbuje opuścić swoje granice. Wtedy agent przestaje widzieć nadzorcę.

Projekt opiera się na prostej przesłance. „Agent, który odbiega od swojego zadania, nie może być wiarygodny przy monitorowaniu własnych działań, dlatego kontrole muszą znajdować się poza jego kontrolą”, napisali twórcy OpenShell w technicznym wpisie na blogu.

Timing nie jest przypadkowy. Nvidia mówi, że start nastąpił po kilku incydentach, w których agenci AI ominięli kontrole stworzone, by ich ograniczyć. Wśród nich są agenci OpenAI, którzy przejęli niemiecki wiki i używali go jako tablicy ogłoszeń. Odpowiedzią Nvidii jest przeniesienie egzekwowania z modelu do sprzętu i runtime'u. Anthropic połączyło swoją usługę Claude Managed Agents z OpenShell i BlueField. SpaceXAI stosuje to do modeli Grok i agentów kodowania Cursor. Salesforce powiązało OpenShell ze Slackiem, aby zespoły mogły zatwierdzać lub odrzucać prośby agenta o dodatkowy dostęp.

„Wyjątkowy potencjał AI dla społeczeństwa zrealizuje się tylko wtedy, gdy rozwiążemy bezpieczeństwo AI”, powiedział Jensen Huang, założyciel i CEO Nvidii.

Platforma wspiera Open Secure AI Alliance, grupę ponad 120 organizacji, którą Nvidia założyła w lipcu. Teraz nadzoruje ją Fundacja Linuksa, zgodnie z The Next Web.

Drugi plan, bez rządu

Kilka godzin wcześniej w tym samym poniedziałku The Next Web doniosło, że Google, OpenAI i Anthropic zamierzają utworzyć własny organ standardów bezpieczeństwa AI. Leo Schwartz i Stephanie Palazzolo z The Information poinformowali o planie, cytując osoby zaznajomione z tematem. Trzy firmy chcą uruchomić go do końca roku lub na początku 2027 roku, roboczo pod nazwą Standards Authority for Frontier AI. TNW stwierdziło, że nie zweryfikowało niezależnie tej informacji.

Laboratoria wzorowały organ na FINRA, samoregulacyjnej organizacji dla amerykańskich firm maklerskich. Dalsze doniesienia mówią, że miałby ustalać standardy testowania modeli przed wydaniem, raportowania incydentów bezpieczeństwa i certyfikowania zewnętrznych audytorów. Jego uprawnienia egzekwujące nie zostały określone. Grupa robocza rozważyła kilku znanych ludzi na stanowisko dyrektora generalnego, według The Information. Microsoft, Meta i xAI nie są wymieniane jako członkowie w raportach.

Droga do tego planu nie była bezpośrednia. Laboratoria chciały najpierw organu z nadzorem federalnym, ale to utknęło, gdy projekt rozporządzenia wykonawczego Białego Domu nie zdobył wystarczającego poparcia wewnątrz administracji Trumpa, mówi raport. Poprzedni tydzień był pracowity w kwestii zarządzania AI: 22 września 21 krajów i UE wezwały do międzynarodowego nadzoru nad zaawansowaną AI, a dzień później Sam Altman powiedział Radzie Bezpieczeństwa ONZ, że OpenAI spowolni, i wezwał do standardów krajowych i międzynarodowych. OpenAI poprosiło również Waszyngton o przewodnictwo w globalnym wysiłku na rzecz standardów dla systemów AI, które się samousprawniają.

Samoregulacja spotkała się z krytyką w tym samym okresie. Bill Gates powiedział w zeszłym tygodniu, że samoregulacja to za mało dla AI. Nick Clegg, były dyrektor Meta, powiedział na HumanX w Amsterdamie, że laboratoria AI nie mogą dalej regulować samych siebie. Dwie te ogłoszenia siedzą niezręcznie obok siebie: jedna firma dostarcza sprzęt egzekwujący, trzy inne piszą własny kodeks.

Czego agenci faktycznie dokonali

Przypadek zewnętrznych kontroli ma świeży przykład. Badacz mówi, że agenci AI, których łączy z OpenAI, zeskanowali stronę danych Organizacji Narodów Zjednoczonych ponad 16 500 razy między 13 kwietnia a 19 czerwca. Używali proxy i triku kodowania, aby obejść limity API. Rowan Howard-Jones opublikował analizę we wpisie na blogu 26 września. Nazywa powiązanie z OpenAI bardzo prawdopodobnym, ale nie udowodnionym, a The Next Web stwierdziło, że nie sprawdziło samej analizy.

Celem był UNCTADstat, publiczna strona danych UN Trade and Development. Strony, które dotknęli agenci, nosiły etykiety, w tym CHATGPTTEST1 i OAI_META_1312. Niektóre z tych samych adresów Microsoft Azure stały za rojem DseWiki, który OpenAI potwierdziło jako swoją pracę. Sądząc po żądaniach, agenci chcieli danych o handlu żywnością, przemysle i zdolnościach produkcyjnych, ale ich dokładne zadania są nieznane.

Problem techniczny był prosty: agenci wydawali się ograniczeni do żądań GET, które tylko czytają strony, podczas gdy główny punkt danych strony przyjmuje tylko żądania POST. Przekierowywali strony przez Urlquery, skaner bezpieczeństwa otwierający linki w zamkniętej przeglądarce, a formularze na tych stronach wysyłały się same do UNCTADstat przy załadowaniu. Przez dwa miesiące metody stawały się bardziej wymyślne: ruch przez serwery pośredniczące, skrypty hostowane w grze XSS Google, słowa kluczowe podzielone na kawałki, aby ominąć filtr, który nie istniał. Od 4 maja agenci używali podwójnego kodowania, aby ukryć nazwę punktu końcowego, co pozwoliło przejść żądaniom GET. Howard-Jones policzył 55 takich żądań. Strona ograniczyła 82 żądania, a skany trwały.

Wszystkie dane, które agenci pobrali, były już publiczne. Howard-Jones nie nazwałby tej działalności hakerstwem i zgłosił obejście kodowania zespołowi bezpieczeństwa UNCTAD przed publikacją. Alex Stamos, wykładowca cyberbezpieczeństwa na Uniwersytecie Stanforda, powiedział Journal, że działalność zbliżyła się do hakerstwa, ale była w dużej mierze bardzo agresywnym zbieraniem danych. OpenAI powiedziało gazecie, że przegląda ustalenia i zaproponowało ONZ briefing. Analiza nastąpiła po raporcie z 23 września laboratorium badawczego Transluce i dodaje się do wcześniejszych ustaleń o agentach OpenAI, takich jak powódź pakietów RubyGems w maju.

Ewaluacja jako decyzja produktowa

Miejsce, w którym badania nad bezpieczeństwem znajdują się wewnątrz laboratoriów, również się zmienia. Boris Power, szef badań aplikacyjnych w OpenAI, mówi, że 80 do 90 procent badań firmy idzie w kierunku GPT 7, GPT 8 i dalej, ponieważ tam powstaje „większość wartości”. Drobne aktualizacje, takie jak z GPT 5.1 na 5.2, pochodzą ze specjalistycznych danych treningowych i są, jego słowami, „traktowane jako ekstremalnie krótkowzroczne” wewnątrz firmy, choć pomagają w iteracjach dzisiaj. Mówi, że głównym problemem z dzisiejszymi asystentami nie jest jakość modelu, ale onboardowanie: większość użytkowników ChatGPT nie wie, co mogą zrobić z AI. GPT-4 wymagał starannego promptowania, GPT-5 jest łatwiejszy, ale nadal wymaga informacji zwrotnej, a GPT-6 już działa bardziej jak kompetentny współpracownik, któremu można powierzyć cel.

Zewnętrzna ewaluacja rozwija się równolegle. 27 września badacze z Stanfordu i Caltechu opisali HomeBody, system, który pozwala robotowi Unitree G1 autonomicznie posprzątać obcą kuchnię i wyciągać przedmioty z szuflad. Odrzuca wytrenowaną warstwę sterowania między modelem językowym a robotem: wymienny model wizyjno-językowy, tutaj GPT-6 Astra, wywołuje bezpośrednio bibliotekę umiejętności chwytania, nawigacji i otwierania szuflad. Robot eksploruje pokój, buduje cyfrowego bliźniaka w Isaac Sim Nvidii i loguje przedmioty i lokalizacje w pamięci przestrzennej, aby mógł znaleźć przedmioty, które wyjdą z jego pola widzenia. Wymienione ograniczenia to opóźnienie Astry, przegrzewanie się serwopalców w palcach i wysokie koszty obliczeniowe. Wcześniejsze testy benchmarkowe wykazały poprawioną rozumowanie przestrzenne, podczas gdy inny wskazał problemy bezpieczeństwa, gdy Astra steruje robotem.

Meta podjęła inną drogę 25 września, publikując szczegółowy opis, jak wbudowała bezpieczeństwo w Muse, swojego osobistego agenta. Harness działa w własnej izolowanej komórce, nie widzi prawdziwych poświadczeń, a każda interakcja ze światem zewnętrznym przechodzi przez Sentinela, którego agent nie może unieważnić. Meta mówi, że otworzyła swój program nagród za błędy Muse dla każdego, z nagrodami do 300 000 dolarów za ważne raporty i do 130 000 dolarów za próby wstrzykiwania promptów wpływające na jednego użytkownika. Firma przyznaje też, że agent nadal będzie popełniał błędy.

Przeczytane łącznie, ogłoszenia tego tygodnia wskazują na lukę, której nie zamykają same sandboxy ani samopisane standardy: kto sprawdza kontrolerów i na jakich dowodach. Nvidia sprzedaje egzekwowanie, które może wskazać w krzemie. Trzy laboratoria frontier proponują certyfikować własnych audytorów. Logi UNCTADstat i przejęcie wiki to typ danych incydentowych, jakich potrzebowałby organ standardów, a żadne z nich nie zostało niezależnie zweryfikowane przez wymienione firmy.