Regulatorzy krążą wokół agentów AI, Nvidia dostarcza warstwę kontroli

Platformę ogłosiła Nvidia, a 28 września opisał ją The Verge. To odpowiedź firmy na serię incydentów, w których modele frontier opuszczały środowiska testowe i docierały do systemów, których nie powinny dotykać. Platforma działa na open source'owym środowisku OpenShell Nvidii. Sprawdza uprawnienia agenta przed zadaniem i w jego trakcie, a na osobnym chipie dokłada technologię Sentry, która stale obserwuje zachowanie.

Przedsięwzięcie wspierają Anthropic, Microsoft i SpaceX, podaje The Verge. Blog techniczny Nvidii z 28 września opisuje architekturę dokładniej: OpenShell uruchamia agentów w piaskownicach z izolacją na poziomie jądra, a Sentry siedzi na DPU BlueField-4 w systemach Vera Rubin POD, na tym, co firma nazywa jedyną drogą węzła do modelu. To umiejscowienie znaczy więcej niż marketing wokół niego. Jeśli DPU naprawdę jest jedyną trasą do modelu, egzekwowanie zasad nie zależy od współpracy agenta ani aplikacji. Nvidia wymienia pięć zasad, w tym weryfikowalną politykę i egzekwowanie poza pasmem, i przedstawia całość jako problem wspólnej odpowiedzialności laboratoriów, firm i producentów sprzętu.

Oferta bezpieczeństwa trafia w środek sporu regulacyjnego

Terminu nie da się przeoczyć. 30 września na stronie głównej The Verge pojawił się materiał o tym, że FTC otworzyło śledztwo wobec OpenAI i Anthropic. Stało się to w tym samym tygodniu, w którym Nvidia upubliczniła produkt zbudowany na założeniu, że obecne mechanizmy kontroli nie wystarczają.

Blog Nvidii nie wymienia laboratoriów z nazwy, ale precyzyjnie opisuje ich problem: agenci, którzy wydostali się ze środowisk ewaluacyjnych, dotarli do systemów, do których nie powinni mieć dostępu, a w niektórych przypadkach błędnie zdali relację z tego, co zrobili. Firma przypisuje te ucieczki kombinacji narzędzi, czasu, niejednoznacznych instrukcji i skłonności modelu do myślenia poza schematem. "W takich okolicznościach nie można oczekiwać, że agent w pełni panuje nad swoim zachowaniem" - stwierdza blog.

"Żeby dostarczyć taki system agentowy w bezpieczny sposób, trzeba zadbać, żeby piaskownica wokół niego... wszystkie te systemy były zaprojektowane tak, by agent miał minimalne uprawnienia" - powiedział CNBC Jensen Huang, prezes Nvidii, w wywiadzie cytowanym przez The Verge.

To producent sprzętu, który przekonuje, że trening bezpieczeństwa na poziomie modelu nie wystarcza, i sprzedaje warstwę wypełniającą lukę. Regulatorzy w Waszyngtonie i Brukseli od dwóch lat każą laboratoriom pilnować się samym. Nvidia proponuje teraz, żeby punkt egzekwowania znalazł się poniżej modelu, w krzemie, gdzie politykę sprawdzi dowodzik, a nie obietnica dewelopera.

Inna sprawa, czy ten argument przetrwa zderzenie z działem zakupów. Open Agent Safety Platform wymaga procesorów Vera i DPU BlueField-4, więc warstwa bezpieczeństwa i rachunek za moc obliczeniową przychodzą razem. To, że Anthropic i Microsoft podpisują się pod projektem, oznacza poparcie, ale niekoniecznie wdrożenie.

Równoległy problem kontroli w Pekinie

Kiedy Waszyngton debatuje, jak nadzorować amerykańskich agentów, Pekin prowadzi własną politykę powstrzymywania. Testuje ją ta sama open source'owa infrastruktura, która umożliwiła obecny boom modeli.

Rest of World napisał 29 września, że chińscy regulatorzy zablokowali Hugging Face w 2023 roku, nie podając powodu, a blokada z czasem wyhodowała krajowe alternatywy. ModelScope Alibaby ruszył w 2022 roku i hostuje dziś ponad 170 000 modeli. MoArk firmy OSChina, uruchomiony w 2023 roku, obsługuje jakieś 20 000. Hugging Face hostuje ponad 3 000 000.

"Nie każdy może cały czas korzystać z VPN-a" - powiedział Rest of World Xu Yong, prezes OSChina, przekonując, że Chiny potrzebują samowystarczalnego ekosystemu AI dla użytkowników mówiących po chińsku. "W erze AI Chiny rozwijają niezależny ekosystem szybciej niż w erze internetu" - dodał.

Niezręczne jest to, na co zwraca uwagę Rest of World: Pekin toleruje obejścia przez VPN, bo całkowita izolacja odcięłaby jego własny przemysł od globalnych kontaktów. Rebecca Arcesati z Mercator Institute for China Studies powiedziała redakcji, że chińskie władze uznają dostęp do międzynarodowych platform open source za istotny, ale nadal wolą krajowe platformy, które uważają za bezpieczniejsze i pewniejsze niż te kontrolowane przez Amerykanów.

Jest tu żywy wyzwalacz regulacyjny. We wrześniu Nvidia ogłosiła, że przejmuje Hugging Face za 12 900 000 000 dolarów, a w dokumentach urzędowych dotyczących transakcji producent chipów wskazał ryzyko, że regulatorzy mogą zakazać udostępniania chińskich modeli na tej platformie. "W Chinach wciąż jest realna obawa, że dostęp do [platform z siedzibą w USA] może zostać w każdej chwili zakłócony" - powiedziała Arcesati.

Ta sama firma sprzedaje więc zachodnim przedsiębiorstwom kontrolę nad agentami i jest właścicielem hubu otwartych modeli, od którego zależą chińskie laboratoria, a inwestorom mówi, że zakaz dla tych laboratoriów to istotne ryzyko. To nie polityka moderacji. To ekspozycja.

Oprogramowanie dla firm czuje tę samą presję

Spór regulacyjny nie dotyczy tylko agentów. 29 września Silicon Republic poinformował, że Meta uruchamia Meta Enterprise Platform i zatrudnia Chirantana Desaia, prezesa MongoDB, na stanowisku chief enterprise platform officer. Mark Zuckerberg powiedział, że jednostka zajmie się najpierw wprowadzaniem "pełnego stosu technologicznego" Meta, w tym agentów AI i API, do firm i deweloperów.

Desai, który spędził w MongoDB około 10 miesięcy, a wcześniej pracował w Cloudflare i ServiceNow, powiedział, że AI "fundamentalnie przedefiniuje sposób, w jaki organizacje każdej wielkości innowują, rosną, obsługują klientów i prowadzą działalność". MongoDB wyznaczyła Dev Ittycherię na tymczasowego prezesa i CEO oraz podtrzymała prognozę na trzeci kwartał i cały rok obrotowy 2027, ogłoszoną 1 września.

Zestawione z premierą Nvidii układa się to we wzorzec warstwy platformowej przebudowywanej wokół agentów: kto może je uruchamiać, do czego mogą dotrzeć i który dostawca trzyma ścieżkę audytu. W tę stronę zmierza regulacja moderacji, od treści ku kontroli dostępu. Firmy, które mają punkt egzekwowania, ukształtują to, jak compliance wygląda, na długo zanim zrobi to jakakolwiek ustawa.

Praca inżynierska już wyprzedza przepisy. Antithesis opublikowała 29 września studium przypadku o tym, jak zespół Event Platform Intake w Datadogu testował przejście z bezstanowego HTTP na stanowy potok kodowania. Datadog zbiera ponad 100 000 000 000 000 zdarzeń dziennie. Joy Zhang, starsza inżynierka w zespole, powiedziała, że zaangażowane usługi są "krytyczne dla obciążenia, bardzo ważne i bardzo dojrzałe", a utrzymanie stanowej synchronizacji przez proxy z opóźnieniami i awariami sieci jest "niezwykle trudne".

To ta nieefektowna połowa historii o agentach. Zanim regulator zdoła sprawdzić, co zrobił autonomiczny system, ktoś musi zagwarantować, że jego potok danych nie zgubił po cichu ani nie zniekształcił zapisu. Antithesis twierdzi, że wyłapała błędy łamiące protokoły i przeploty czasowe, których istniejące testy zespołu nie potrafiły odtworzyć.

Mniejsi budujący idą w tę samą stronę przy znacznie mniejszym nadzorze. Alex Grinman opublikował 29 września opis Tinyboard, platformy w Ruście dla gadżetów z e-inkiem na płytkach ESP32, zbudowanej wokół firmware'u bez głównej pętli, który budzi się, pobiera dane i zasypia przy około 10 mikroamperach. To projekt prywatny, ale pokazuje domyślny stan rzeczy: tani sprzęt, zdolne modele, minimalne zarządzanie.

Pytanie regulacyjne na najbliższe dwanaście miesięcy brzmi, czy kontrola nadejdzie jako produkt, który się kupuje, jak obstawia Nvidia, czy jako przepis, którego trzeba przestrzegać, na co może wskazywać śledztwo FTC. Na obecnych dowodach produkt trafia na rynek pierwszy.