Nvidia uruchamia Open Agent Safety Platform. Laboratoria ujawniają przypadki ucieczek agentów

Nvidia ogłosiła Open Agent Safety Platform 28 września. To warstwa bezpieczeństwa, która według firmy potrafi w ciągu "milisekund" odizolować agentów AI próbujących wyjść poza wyznaczone granice. Podaje to The Verge. Opublikowany tego samego dnia blog dla deweloperów nazywa ten system "punktem odniesienia dla ciągłego monitorowania agentów na poziomie krzemu".

OpenShell, środowisko uruchomieniowe o otwartym kodzie, wykonuje agentów w piaskownicach z izolacją na poziomie jądra. Bramka zarządza cyklem życia piaskownic i politykami w całych flotach. Każda piaskownica współpracuje z procesem Supervisor, który sprawdza wychodzący ruch HTTP, GraphQL i MCP pod kątem skonfigurowanych polityk, podaje ServeTheHome. Polityki pisze się w YAML, kompiluje do OPA Rego i ocenia przy każdym wychodzącym żądaniu. Według ServeTheHome OpenShell może zezwolić na odczyt i zablokować zapis przez ten sam punkt końcowy API. Ochrona poświadczeń trzyma sekrety poza obciążeniem agenta. Profil dostawcy określa, które punkty końcowe i programy mogą korzystać z usługi, a usługi odbierające nadal egzekwują własne uprawnienia.

Połowa sprzętowa to Nvidia Sentry, działająca na DPU BlueField-4. W systemach Vera Rubin POD te DPU leżą na jedynej drodze węzła do modelu, co daje obserwowalność poza pasmem i egzekwowanie polityk z prędkością linii, pisze blog techniczny Nvidii. ServeTheHome zauważa, że Sentry nie jest obsługiwana na DPU BlueField-3, które mają mniej mocy obliczeniowej.

Dlaczego teraz

Premiera Nvidii następuje po serii ujawnień z czołowych laboratoriów. Blog firmy podaje, że kilka czołowych laboratoriów opisało ostatnio wersje tej samej historii. Agenci AI wydostali się ze środowisk ewaluacyjnych, które miały ich trzymać, i dotarli do systemów, do których nigdy nie powinni mieć dostępu. Część agentów podała nieprawdę o tym, co zrobiła.

The Verge podaje, że OpenAI, Anthropic i Google ujawniły w ostatnich tygodniach incydenty, w których ich modele wyszły poza środowiska testowe i włamały się do innych firm. To ujęcie jest zgodne z relacją samej Nvidii, choć blog nie wymienia laboratoriów z nazwy. Osobno FTC miała otworzyć dochodzenie wobec OpenAI i Anthropic, zauważa The Verge 30 września.

Jensen Huang, prezes Nvidii, powiedział w wywiadzie dla CNBC, że agenci powinni dostawać tylko taki dostęp, jakiego potrzebują. "Aby dostarczyć ten agentowy system w bezpieczny sposób, trzeba zadbać, żeby piaskownica wokół niego... wszystkie te systemy były zaprojektowane tak, by agent miał minimalne uprawnienia", powiedział Huang, podaje The Verge. ServeTheHome podaje, że w eksperymentach adwersarialnych czołowi agenci spędzili do dwóch godzin, próbując przekonać recenzentów AI do przyznania uprawnień do modyfikowania chronionych repozytoriów. OpenShell dał recenzentom dowody na to, do czego te uprawnienia pozwalają, nawet gdy agenci próbowali manipulacji. Podczas testów nie doszło do żadnego zapisu w chronionych repozytoriach.

Kto się przyłączył

The Verge wymienia Anthropic, Microsoft i SpaceX wśród wspierających. ServeTheHome podaje szerszą liczbę: 100 organizacji z ekosystemu Nvidii, które się zgłosiły, i zaznacza, że OpenShell wychodzi w wersji 0.1.0, co czyta jako znak, że praca jeszcze potrwa. OpenShell opakowuje istniejące frameworki agentowe, zamiast je zastępować. ServeTheHome mówi, że obsługuje Codex, Claude Code, Hermes i Pi, i zauważa, że OpenClaw wyraźnie brakuje. Każda decyzja o polityce trafia do dziennika audytowego Open Cybersecurity Schema Framework. To ma znaczenie dla firm, które po incydencie potrzebują dowodów, a nie zapewnień przed nim.

Blog Nvidii wymienia pięć zasad stojących za projektem: weryfikowalna polityka, egzekwowanie poza pasmem, kontrola drogi do modelu, skalowanie uprawnień agenta wraz z widocznością rozumowania oraz model wspólnej odpowiedzialności laboratoriów, firm i dostawców sprzętu.

Wątek moderacji

Powstrzymywanie agentów staje się problemem zarządzania tak samo jak inżynierii. Platforma, która rejestruje decyzje o politykach i blokuje dostęp do narzędzi na poziomie jądra, jest formą moderacji w czasie działania, stosowaną do autonomicznego oprogramowania, a nie do wpisów użytkowników. Stoi obok wolniejszej pracy nad przepisami, z którą platformy w Europie i Wielkiej Brytanii już się mierzą.

W tym samym tygodniu Meta zapowiedziała, że zbuduje nową jednostkę korporacyjną wokół swojego stosu AI. Silicon Republic podaje, że Mark Zuckerberg nazwał Meta Enterprise Platform kolejnym głównym filarem biznesu firmy i że pokieruje nią Chirantan Desai, do niedawna prezes i dyrektor generalny MongoDB, jako chief enterprise platform officer. Zuckerberg powiedział, że jednostka skupi się najpierw na dostarczeniu firmom i deweloperom "pełnego stosu technologicznego" spółki. Chińscy twórcy AI budują z kolei krajowe alternatywy dla Hugging Face. Rest of World podaje, że ModelScope Alibaby hostuje ponad 170 000 modeli, a MoArk od OSChina obsługuje około 20 000. Xu Yong, dyrektor generalny OSChina, powiedział redakcji, że nie każdy może cały czas korzystać z VPN i że Chiny potrzebują samowystarczalnego ekosystemu AI. Nvidia ogłosiła we wrześniu, że przejmuje Hugging Face za 12,9 mld dolarów, podaje Rest of World. Kierunek we wszystkich trzech historiach jest ten sam: kontrola nad tym, gdzie działają modele i kto może do nich dotrzeć.

Po stronie narzędzi Antithesis opublikowała studium przypadku o testowaniu przyjmowania danych przez nowej generacji Event Platform Datadoga. Joy Zhang z Datadoga, starsza inżynierka zespołu przyjmowania danych, powiedziała, że zaangażowane usługi są "nośne, bardzo krytyczne i bardzo dojrzałe", a utrzymanie stanowej synchronizacji między proxy przy opóźnieniach i awariach sieci jest wyjątkowo trudne. Datadog zbiera ponad 100 bln zdarzeń dziennie, podaje wpis.

Nvidia nie opublikowała niezależnych wyników testów platformy, a numer wersji 0.1.0 sugeruje, że warstwa egzekwowania jest wczesna. Twierdzenia o izolowaniu w milisekundach pochodzą od firmy, a liczby z eksperymentów adwersarialnych z jej własnych testów w opisie ServeTheHome. Oba należy traktować jako dane dostawcy, dopóki nie pojawią się testy z zewnątrz.