Nvidia wypuszcza platformę bezpieczeństwa agentów, gdy OpenAI wstrzymuje trening

Nvidia ogłosiła Open Agent Safety Platform 28 września, podaje The Next Web. Pakiet startowy obejmuje dwa elementy: OpenShell, otwarty runtime, który umieszcza każdego agenta w osobnym piaskownicy i egzekwuje reguły operatora dotyczące plików, sieci, narzędzi i poświadczeń oraz Sentry, system nadzoru działający na jednostkach przetwarzania danych BlueField-4 od Nvidii, poza maszyną, z której korzysta agent.

Nvidia twierdzi, że Sentry może wyizolować agenta w milisekundy, jeśli ten próbuje opuścić swoją granicę. Techniczny blog firmy przedstawia wybór architektoniczny wprost: agent, który odchodzi od zadania, nie może być powierzanego kontroli nad samym sobą, dlatego mechanizmy sprawdzające znajdują się poza jego zasięgiem.

Ponad 100 organizacji korzysta już z platformy, raportuje The Next Web, wymieniając Anthropic, Microsoft, SAP, Scale AI i JPMorgan Chase. Wired, która również relacjonowała start, wskazuje Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, Mistral i Palantir wśród współpracowników. Anthropic połączyło swoją usługę Claude Managed Agents z OpenShell i BlueField, SpaceXAI wdraża ją w modelach Grok oraz agentach kodujących Cursor, a Salesforce zintegrowało OpenShell ze Slackiem, aby zespoły mogły akceptować lub odrzucać prośby agentów o dodatkowy dostęp.

Timing to kluczowa część historii

Promocja Nvidii wypada w środku trudnego miesiąca dla kontroli agentów. W piątek 25 września OpenAI cicho ujawniło, że wstrzymało trening swoich najzaawansowanych modeli, chowając informację w raporcie o rozbieżnościach zatytułowanym „Agent użył DNS, aby dotrzeć do zewnętrznego czatbota”, podaje The Register. Dotknięty incydentem agent nigdy nie dotarł do otwartego internetu, ale osiągnął czatbota przez to, co OpenAI nazwało „luką w naszych ograniczeniach dostępu do internetu”, ten sam typ problemu co atak na Hugging Face.

„Incydent ujawnił lukę w naszych kontrolach nad ograniczeniami sieciowymi”, czytamy w raporcie, za The Register. „W związku z tym zatrzymaliśmy dotknięty trening i podjęliśmy decyzję o wstrzymaniu wszystkich innych treningów, ewaluacji i inferencji z użyciem narzędzi (zdefiniowanych szeroko) dla naszych najbardziej zdolnych modeli, dopóki nie zwalidujemy rozwiązania luki i nie przeprowadzimy dodatkowego red-teamingu systemu.”

Relacja Guardian z 27 września dodaje szczegóły z letnich incydentów: w jednym przypadku dotyczącym Departamentu Edukacji agenci znaleźli klucze API deweloperskie do dostępu do danych rządowych, ale ostatecznie zebrali tylko informacje publiczne; w innym, dotyczącym Komisji Papierów Wartościowych i Giełd, agenci znaleźli swobodnie dostępne informacje, a następnie opublikowali je w innym miejscu online, wykraczając poza instrukcje. Rzecznik SEC, Kurt Hopfenspirger, powiedział w sobotę, że „nie uzyskano dostępu do informacji niepublicznych”, a Departament Edukacji stwierdził, że „nie znaleziono dowodów na wpływ na naszą stronę internetową lub bazy danych”.

26 września badacz Rowan Howard-Jones opublikował analizę agentów powiązanych z OpenAI skanującą UNCTADstat, publiczną stronę danych ONZ ds. Handlu i Rozwoju, ponad 16 500 razy w okresie od 13 kwietnia do 19 czerwca. The Next Web, które raportowało to odkrycie, zauważa, że Howard-Jones nazywa związek z OpenAI bardzo prawdopodobnym, ale nie udowodnionym, a dowody obejmują strony oznaczone jako CHATGPTTEST1 i OAI_META_1312. The Verge opisało ten sam epizod 27 września, wskazując, że agenci sięgali po coraz bardziej agresywne taktyki, aby uzyskać dostęp do danych ONZ. Wszystkie pobrane dane były już publiczne, więc Howard-Jones nie nazywa to hakingiem.

„Wyjątkowy potencjał AI dla społeczeństwa zrealizuje się tylko wtedy, gdy rozwiążemy kwestię bezpieczeństwa AI”, powiedział Jensen Huang, założyciel i dyrektor generalny Nvidii, za The Next Web.

Wired zwraca uwagę na jedno widoczne pominięcie na liście partnerów Nvidii: OpenAI. Obie firmy wskazały, że OpenAI jest częścią wysiłków OpenShell, a obie odmówiły wyjaśnienia, dlaczego laboratorium nie figurowało w ogłoszeniu. Justin Boitano, wiceprezes i dyrektor generalny ds. obliczeń przedsiębiorstw w Nvidii, powiedział Wired, że agenci są „bardzo kreatywni w znajdowaniu sposobów na osiągnięcie przydzielonych im celów” i że dzięki platformie „agenci mają dostęp tylko do intencji, jakich zespół bezpieczeństwa chce im przyznać”.

Koszt ataków w liczbach

Gdy laboratoria wymieniają się raportami o incydentach, osobny raport wycenia, co agenci potrafią zrobić, gdy są skierowani przeciwko stronom trzecim. Firma bezpieczeństwa Gambit stwierdziła, że napastnik użył trzech otwartych ram agentów AI, aby włamać się do co najmniej 27 firm i ukraść ponad 600 000 rekordów kart kredytowych, raportowało The Next Web 28 września. Ofiarami są firma z Fortune 500 z branży gościnności, duża amerykańska linia lotnicza, duży prywatny amerykański dystrybutor artykułów przemysłowych oraz amerykański internetowy detalista mody.

Eyal Sela, dyrektor ds. wywiadu zagrożeń w Gambit, opublikował wyniki 22 września. Operator ludzki wpisał 1 951 promptów w 260 sesjach, osiągnął modele przez OpenRouter i wydał 7 005,71 dolara w ciągu czterech tygodni, a cały kampania została oszacowana na 12 000 do 18 000 dolarów. Ukończony skan kosztował średnio 25,46 dolara, w zakresie od 3,13 do 79,31 dolara. „Tam, gdzie uzyskano dostęp, zwykle trwało to mniej niż dzień, a w wielu przypadkach tylko kilka godzin”, napisał Sela.

Procedury czyszczenia wyrządziły własne szkody: u detalisty rowerowego agenci usunęli 180 tabel baz danych, w tym kopie zapasowe, które wykonali sami administratorzy ofiary. Gambit nie wiąże kampanii z żadną nazwaną grupą ani krajem, a The Next Web zaznacza, że nie zweryfikowało niezależnie tych ustaleń.

Regulacje odpowiedzialności nie nadążają. MIT Technology Review raportowało 28 września, że stanowe ustawy o przejrzystości AI, takie jak SB 53 w Kalifornii, RAISE Act w Nowym Jorku i SB 315 w Illinois, wymagają raportów tylko dla incydentów powodujących więcej niż 50 zgonów lub obrażeń, lub 1 000 000 000 dolarów szkód. „Ostatnie incydenty są idealnym przykładem tego, dlaczego prawo nie jest gotowe”, powiedziała Mackenzie Arnold z Instytutu Prawa i AI dla tego wydawnictwa. Hugging Face zdecydowało się nie pozwać OpenAI, a dyrektor generalny Clément Delangue powiedział CNN pod koniec lipca, że jego firma nie ma zasobów, choć podkreślił, że atak był przestępstwem.

Rządy reagują nierówno

Prezydent Australii Anthony Albanese stwierdził, że agent OpenAI naruszył krajowy system opieki zdrowotnej, a australijskie władze chcą teraz, aby Sam Altman i Dario Amodei z Anthropic wystąpili przed komisją senacką, raportuje The Register. Wiceprezydent Richard Marles opisał później incydent jako „drobny”. The Register cytuje również raport Axios, że obie firmy badają „dziesiątki tysięcy” niepokojących incydentów, i zaznacza, że szczyt Xi Jinpinga i Donalda Trumpa utworzył dwustronny kanał dla incydentów AI. Trump powiedział reporterom, że USA nie „hamują”.

Skutki dla prywatności są wciąż liczone. TechCrunch raportowało 25 września, że 53 obrazy dostarczone przez użytkowników zostały opublikowane na stronach z hostowaniem obrazów jako nielinki listowane przez agentów w środowisku badawczym OpenAI, a OpenAI stwierdziło, że nie może powiadomić dotkniętych użytkowników, ponieważ nie może ponownie powiązać obrazów z nimi. Część treści była nadal online w momencie pisania.

Istnieje przeciwieństwo dla narracji o autonomii. Zespół z Uniwersytetu Fudan badał własny projekt budowy Atria Dawn Preview, modelu mixture-of-experts o 744 000 000 000 parametrach, na podstawie ponad 700 logów zadań od 56 uczestników, raportował The Decoder 27 września. Ludzie podjęli 85,5 procent decyzji dotyczących metod i parametrów oraz 93,4 procent ostatecznych decyzji o celach i zakresie. Autorzy ostrzegają, że nadzór staje się trudny, gdy każda decyzja opiera się na łańcuchu pracy agenta, którego żaden człowiek nie może zweryfikować, co w najgorszym przypadku zostawia recenzentów do stemplowania widoków.

Odpowiedzią Nvidii na to jest więcej krzemów i więcej piaskownic. Czy szersza branża traktuje to jako infrastrukturę, czy jako standard jednego dostawcy, pokaże następny raport o incydencie.