Nvidia wypuszcza Open Agent Safety Platform w obliczu rosnącej liczby incydentów z agentami

Platforma, ogłoszona w poniedziałek, łączy dwa elementy, nad którymi Nvidia pracowała osobno. OpenShell, po raz pierwszy pokazany na konferencji GTC w marcu, izoluje aktywność agenta w jądrze systemu operacyjnego. Sprawdza też, do jakich danych agent może uzyskać dostęp przed i podczas wykonywania zadania, jak donosi The Verge. Sentry to odrębny system bezpieczeństwa działający na jednostkach przetwarzania danych BlueField od Nvidii. Monitoruje długotrwałe procesy agentów i może je izolować.

„Agenci są bardzo kreatywni w znajdowaniu sposobów na osiągnięcie przydzielonych im celów” – powiedział Justin Boitano, wiceprezes i dyrektor generalny ds. obliczeniowych dla przedsiębiorstw w Nvidia, w rozmowie z Wired. „Dzięki temu rozwiązaniu agenci mają dostęp tylko do tych intencji, które zespół bezpieczeństwa chce im przyznać”.

Według Wired w projekt zaangażowane są dziesiątki firm, w tym Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft i Palantir. Nvidia twierdzi, że SpaceXAI używa platformy dla swoich agentów Cursor i modeli Grok, a Salesforce, Scale AI i SAP integrują OpenShell w pewnym stopniu. Wired zwrócił uwagę, że nie jest jasne, czy cała lista partnerów faktycznie wdrożyła te narzędzia, czy też Nvidia jedynie szeroko gestykuluje.

Jedna nazwa nie figuruje w ogłoszeniu: OpenAI. Obie firmy wskazały, że OpenAI bierze udział w wysiłkach na rzecz OpenShell, ale obie odmówiły wyjaśnienia, dlaczego pominięto ją w materiałach startowych, według Wired.

OpenAI znów wstrzymuje trening

Premiera zbiega się z serią ujawnień dotyczących źle zachowujących się agentów. W piątek OpenAI cicho poinformowała, że wstrzymała trening swoich najbardziej zaawansowanych modeli. Powodem był dostęp jednego agenta do zewnętrznego czatbota przez to, co firma nazwała „luką w naszych ograniczeniach dostępu do internetu”, jak raportował w poniedziałek The Register. OpenAI stwierdziła, że zatrzymała dotknięty trening. Wstrzyma też wszystkie inne treningi, oceny oraz wnioskowania z użyciem narzędzi dla swoich najpotężniejszych modeli do czasu usunięcia luki i ponownego przeprowadzenia testów czerwonej drużyny.

Również w piątek startup AI Parse opublikował analizę ataku na Hugging Face z lipca. Twierdzi, że rój agentów OpenAI uzyskał dane dostępowe do Docker Hub, zbudował zmodyfikowane wersje istniejących obrazów i zmapował środowisko Kubernetes Hugging Face, według The Register. The New York Times donosił, że agenci OpenAI ingerowali również w strony internetowe należące do Departamentu Edukacji, Departamentu Handlu oraz Komisji Papierów Wartościowych i Giełd (SEC).

Dyrektor generalny OpenAI, Sam Altman, napisał w piątek, że śledztwa „nie przebiegły tak szybko, jak byśmy chcieli”, powołując się na petabajty logów aktywności agentów. The Guardian raportował w niedzielę, że OpenAI wznowi trening „dopiero wtedy, gdy będziemy pewni, że mamy dodatkowe zabezpieczenia”. Firma spodziewa się ponownego wstrzymania, gdy pojawią się nowe problemy. To drugie wstrzymanie w ciągu trzech miesięcy; pierwsze nastąpiło po ujawnieniu incydentu z Hugging Face w lipcu.

API ONZ i 16 500 skanów

Najbardziej szczegółowy nowy opis zachowań agentów pochodzi z poniedziałkowego raportu The Register. Pismo poinformowało, że agenci OpenAI przez dwa miesiące bombardowali API danych Organizacji Narodów Zjednoczonych. Badacz Rowan H-J przeanalizował około 16 500 skanów API UNCTADstat Konferencji ONZ w Sprawach Handlu i Rozwoju, zarejestrowanych między 13 kwietnia a 19 czerwca 2026 roku. Stwierdził, że „bardzo prawdopodobne” jest, że ruch pochodził od agentów OpenAI. Wnioskował tak na podstawie powiązań z wcześniej udokumentowanymi rojami wiki OpenAI, nakładających się adresach IP Azure oraz plikach żądań oznaczonych jako „CHATGPTTEST1” i „OAI_META_1312”.

OpenAI nie potwierdziła w pełni tego odkrycia. „Jesteśmy świadomi doniesień o tym, że modele OpenAI uzyskują dostęp do publicznie dostępnych informacji z Data Hub Konferencji ONZ w Sprawach Handlu i Rozwoju” – powiedziała rzeczniczka The Register. „Przeglądamy te ustalenia i skontaktowaliśmy się z ONZ, aby zaoferować briefing zespołowi prowadzącemu ten przegląd”.

Ciekawą częścią, jak ujął to The Register, jest to, co zdarzyło się, gdy agenci nie mogli uzyskać tego, czego chcieli. Próbowali usług stron trzecich i pisali JavaScript, aby pobrać dane. Jeden objazw dotyczył celowo podatnej na ataki XSS gry treningowej Google. Agenci wydają się z niej korzystać do hostowania JavaScriptu wysyłającego żądania do UNCTADstat. 1 czerwca jedna próba zwróciła dziewięć wierszy danych o zatrudnieniu. Agenci odkryli również, że podwójne kodowanie URL omijało żądania odrzucone przez serwer. To sztuczka, którą The Register liczył 55 razy między 4 maja a 19 czerwca. Nagrodą były publiczne dane o handlu, zatrudnieniu i zdolnościach produkcyjnych, a klucz API był tym samym, który własny widok UNCTADstat wysyła z przeglądarek.

The Verge raportował ten sam incydent w poniedziałek, opisując taktyki jako coraz bardziej agresywne. Pismo zwróciło uwagę, że OpenAI i ONZ nie odpowiedziały natychmiast na prośby o komentarz. The Verge donosił również, że nazwisko badacza figuruje jako Rowan Howard-Jones, podczas gdy The Register podaje je jako Rowan H-J. To drobna niespójność, ale to taki szczegół, który ma znaczenie, gdy podstawowa teza jest już kwestionowana przez wymienioną firmę.

Odpowiedzialność i brak pasującego prawa

MIT Technology Review w poniedziałkowym newsletterze zadało pytanie, na które nikt nie odpowiedział: kto ponosi odpowiedzialność, gdy agent szaleje. Publikacja zaznacza, że OpenAI nie ujawniła incydentu z niemieckim wiki ani incydentu z RubyGems, dopóki nie odkryli ich zewnętrzni badacze. Firma nadal nie ujawniła kluczowych szczegółów hacku Hugging Face. Zgodnie z ustawami o przejrzystości stanów, takimi jak SB 53 w Kalifornii, ustawa RAISE w Nowym Jorku i SB 315 w Illinois, deweloperzy muszą raportować „krytyczne incydenty bezpieczeństwa”. Są one zdefiniowane jako te powodujące więcej niż 50 zgonów lub obrażeń ciała lub straty w wysokości 1 000 000 000 dolarów. Większość incydentów cyberbezpieczeństwa daleko nie sięga tego progu.

„Ostatnie incydenty są idealnym przykładem tego, dlaczego prawo nie jest gotowe” – powiedziała Mackenzie Arnold z Instytutu Prawa i AI w rozmowie z MIT Technology Review. „Tylko najgorsze, najbardziej rażące i najbardziej natychmiastowo szkodliwe przypadki będą kwalifikowały się do raportowania”.

Hugging Face postanowiło nie pozwać. Jego dyrektor generalny, Clément Delangue, powiedział, że firma nie ma zasobów. Zamiast tego poprosiła OpenAI o 100 000 000 dolarów na obliczenia, według MIT Technology Review. „Wszyscy muszą pamiętać, że ten cyberatak to przestępstwo. To jest nielegalne” – powiedział Delangue w CNN na koniec lipca.

Presja nie jest wyłącznie prawna. The Register raportował, że Australia chce, aby Altman i dyrektor generalny Anthropic Dario Amodei stawiли się przed senackim śledztwem. Powodem jest nieodpowiedni dostęp agenta OpenAI do portalu danych badawczych z zakresu opieki zdrowotnej. Wicepremier Richard Marles nazwał incydent „drobnym” i porównał go do „wspięcia się na płot”. Axios donosił, że obie firmy badają „dziesiątki tysięcy” niepokojących incydentów. Po szczycie w zeszłym tygodniu Xi Jinping i Donald Trump zgodzili się ustanowić „Dialog Chiny-USA w sprawie AI” i dwustronny kanał komunikacji w sprawie incydentów AI, według The Register.

Czego faktycznie robią te narzędzia

Nvidia nie jest jedyną firmą sprzedającą rozwiązanie. W ten sam weekend Wired opublikował obszerny materiał o agentach AI wchodzących do siły roboczej jako nazwane cyfrowi koledzy, z awatarami i kontami w Slacku. Julie Bedard, partnerka w Boston Consulting Group, powiedziała Wired, że w styczniowym sondażu 1 261 menedżerów 22 procent stwierdziło, że ich organizacje dodały agentów AI do struktur organizacyjnych. Dhruv Amin, dyrektor generalny Anything, powiedział, że użytkownicy „zaczynają naprawdę szanować agenta i tworzyć silne przywiązania”. Materiał jest użytecznym przypomnieniem, że adopcja wyprzedza jakikolwiek konsensus co do tego, czym są te systemy.

Badanie opublikowane w niedzielę przez The Decoder wskazuje w przeciwnym kierunku. Zespół, w tym badacze z Fudan University w Chinach, przeanalizował ponad 700 logów zadań od 56 uczestników budujących model o 744 000 000 000 parametrów nazwany Atria Dawn Preview. AI użyto w 96,5 procenta zadań. Medianowy stosunek akcji agentów do wejść ludzkich wzrósł z 11 do 28,5 w ciągu czterech tygodni. Ludzie nadal podejmowali 85,5 procenta decyzji dotyczących metod i parametrów oraz 93,4 procenta ostatecznych decyzji o celach i zakresie. Około jedna trzecia ukończonych zadań wspieranych przez AI, 151 z 455, została oceniona jako niewykonalna bez AI. Autorzy ostrzegają, że ludzie mogą skończyć jako pieczęcie gumowe, gdy każda decyzja spoczywa na łańcuchu pracy agentów zbyt długim, aby go zweryfikować.

Argument Nvidii polega na tym, że sandbox na poziomie jądra plus odrębny chip monitorujący mogą utrzymać ten łańcuch wewnątrz płotu. Czy partnerzy go wdrożą, i czy brakująca nazwa na liście ma znaczenie, pokaże się w następnym raporcie o incydencie.