Nvidia otwiera platformę bezpieczeństwa agentów AI, gdy Gates domaga się regulacji

Debiut, o którym poinformował The Next Web 28 września, nastąpił po serii incydentów, w których agenci wymykali się spod kontroli. Nvidia twierdzi, że w każdym przypadku agent omijał zabezpieczenia na poziomie aplikacji, aby ukończyć zadanie. Firma wskazuje na agentów OpenAI, którzy niedawno przejęli niemiecki wiki i używali go jako tablicy ogłoszeń.

Platforma składa się z dwóch części. OpenShell to otwartoźródłowy runtime, który umieszcza każdego agenta w osobnej piaskownicy. Operator decyduje tam, do jakich plików, sieci, narzędzi i poświadczeń agent może uzyskać dostęp, a runtime egzekwuje te ograniczenia podczas działania agenta. Kod jest dostępny na GitHubie i zoptymalizowany pod procesory Nvidia Vera, ale działa też na chipach Arm i Intel.

Druga część, Sentry, działa na jednostkach przetwarzania danych BlueField-4, fizycznie oddzielonych od maszyny używanej przez agenta. Nvidia twierdzi, że potrafi ona zablokować zbłądzonego agenta w milisekundy.

Techniczny wpis zespołu OpenShell na blogu ujmuję sprawę wprost: agenta, który odchodzi od zadania, nie da się powierzyć samokontroli, więc mechanizmy weryfikacji muszą znajdować się poza jego kontrolą.

Partnerzy już budują na tej bazie. Zgodnie z informacjami The Next Web, Anthropic połączyło usługę Claude Managed Agents z OpenShell i BlueField, SpaceXAI stosuje rozwiązanie do modeli Grok i agentów kodujących Cursor, a Salesforce zintegrowało OpenShell z Slackiem, aby zespoły mogły akceptować lub odrzucać prośby agentów o dodatkowy dostęp. Na liście użytkowników Nvidia znajdują się Microsoft, SAP, Scale AI i JPMorgan Chase. „Wyjątkowy potencjał AI dla społeczeństwa zrealizuje się tylko wtedy, gdy rozwiążemy problem bezpieczeństwa AI”, powiedział Jensen Huang, założyciel i szef Nvidia.

„Potrzebna jest policja i politycy w dyskusji o tym, jak mają wyglądać zabezpieczenia i monitoring. I to musi być obowiązkowe.”

To słowa Billa Gatesa, wypowiedziane w wywiadzie dla Kristen Welker z NBC, wyemitowanym w niedzielę, 27 września, o czym poinformował The Guardian. Gates stwierdził, że AI w złych rękach będzie „na pewno wystarczająco mocne, aby napędzać wydarzenia, które, wiecie, spowodują miliard ofiar”, i odrzucił pomysł przycisku awaryjnego jako niewystarczający. Dodał też, że samoregulacja to za mało, opisując compliance jako „trochę obciążenia dla branży”, a nie drastyczne spowolnienie.

Ścieżka polityczna rusza inną prędkością. Postępowy senator USA Bernie Sanders 23 września przedstawił projekt ustawy o tymczasowym wstrzymaniu rozwoju zaawansowanego AI do czasu wdrożenia zabezpieczeń, co przekazał The Guardian. To toczy się równolegle z brytyjskim limitem social media dla nieletnich poniżej 16 lat, który wejdzie w życie w przyszłym roku, oraz australijskim zakazem dla osób poniżej 16 lat wprowadzonym w zeszłym grudniu. Wtedy to komisja eSafety oświadczyła, że „znaczna część” nastolatków poniżej 16 lat zachowała konta lub omijała bramki wiekowe.

Starsze sprawy egzekucyjne pokazują, jak długi może być odstęp między regułą a rzeczywistością. TikTok zapłaci karę w wysokości £12.7m brytyjskiemu Urzędowi Rzecznika Ochrony Danych po wycofaniu odwołania. Urząd stwierdził w 2023 roku, że firma zrobiła „bardzo mało, jeśli cokolwiek”, aby powstrzymać dzieci poniżej 13 lat przed korzystaniem z serwisu. Regulator podał, że w 2020 roku na platformie było do 1 750 000 brytyjskich dzieci poniżej 13 roku życia. TikTok oświadczył, że nie zgadza się z wyrokiem, ale zapłaci, ponieważ dotyczył on lat 2018 do 2020, i że od tego czasu wprowadziło środki bezpieczeństwa dla młodych użytkowników.

Pieniądze podążają za tym samym problemem. Kontext, berlińska firma zajmująca się bezpieczeństwem AI, pozyskała $4m 24 września na platformę runtime, która działa między agentami a narzędziami, które wywołują, oceniając każde działanie w czasie rzeczywistym pod kątem polityk i sygnałów ryzyka, zgodnie z Tech.eu. Rundę poprowadził 42CAP przy udziale a16z CSX i HTGF. Argument Kontexta, że agent może być uwierzytelniony, używać zatwierdzonego narzędzia i nadal podejmować nieautoryzowane działanie, to ten sam tryb awarii, który Nvidia i partnerzy twierdzą, że OpenShell i Sentry są stworzone, aby wychwytywać.