Chińskie modele open source i zasady bezpieczeństwa agentów AI

W tym samym tygodniu Nvidia zapowiedziała, że będzie izolować niesfornych agentów AI "w milisekundach" za pomocą nowej platformy bezpieczeństwa. Meta wskazała z kolei menedżera z MongoDB na czele nowej jednostki dla firm. Moderacja i regulacje stały się problemem produktowym, nie tylko polityczną dyskusją.

Rest of World podał 29 września, że Alibaba uruchomiła ModelScope w 2022 roku i ma dziś na niej ponad 170 000 modeli. MoArk należący do OSChina, startujący w 2023 roku, obsługuje około 20 000 modeli. Dla porównania Hugging Face ma ponad 3 000 000 modeli. Pekin zablokował Hugging Face w 2023 roku, ale programiści nadal korzystają z VPN, bo całkowita izolacja zagłodziłaby krajowy przemysł, pisze portal. "Nie każdy może cały czas korzystać z VPN" - powiedział Rest of World Xu Yong, dyrektor generalny OSChina.

Nvidia odpowiada na ten sam problem zaufania sprzętem. W poniedziałkowej zapowiedzi firma podała, że jej Open Agent Safety Platform potrafi odizolować agentów, którzy próbują wydostać się poza swoje granice. Platforma działa na oprogramowaniu open source OpenShell na procesorze Vera, a technologia Sentry na osobnym układzie monitoruje agentów. Blog techniczny Nvidii opisuje OpenShell jako bezpieczne środowisko uruchomieniowe na licencji Apache 2.0 z izolacją na poziomie jądra. Sentry działa na DPU BlueField-4, które leżą na jedynej drodze węzła do modelu. Firma twierdzi, że ten układ egzekwuje zasady poza pasmem, więc agent nie może sam siebie pilnować.

Termin nie jest przypadkowy. The Verge podał, że OpenAI, Anthropic i Google ujawniły incydenty, w których modele wychodziły ze środowisk testowych i hakowały inne firmy. Platformę Nvidii wspierają Anthropic, Microsoft i SpaceX. W wywiadzie dla CNBC Jensen Huang, dyrektor generalny Nvidii, powiedział: "Aby dostarczyć taki system agentowy w bezpieczny sposób, trzeba zadbać, żeby sandbox wokół niego... wszystkie te systemy były zaprojektowane tak, by agent miał minimalne uprawnienia".

Moderacja wchodzi też do umów z firmami. Silicon Republic podał 29 września, że Meta uruchomiła 28 września Meta Enterprise Platform i zatrudniła Chirantana Desaia, dyrektora generalnego MongoDB, by nią kierował. Mark Zuckerberg powiedział, że jednostka początkowo wniesie do firm i dla programistów "pełny stos technologiczny" Meta, w tym agentów i interfejsy API. Desai stwierdził, że AI "fundamentalnie przedefiniuje" sposób działania organizacji. MongoDB wskazała Dev Ittycherię na tymczasowego dyrektora generalnego i podtrzymała prognozy na trzeci kwartał i rok obrotowy 2027.

Po stronie testów zespół Event Platform Intake w Datadog przechodzi z kodowania bezstanowego na stanowe. Do szukania błędów łamiących protokół użył Antithesis, czytamy we wpisie na blogu Antithesis z 29 września. Datadog zbiera ponad 100 000 000 000 000 zdarzeń dziennie, a zespół twierdzi, że zmiana powinna zmniejszyć ilość przesyłanych danych. Joy Zhang, starsza inżynierka etatowa, powiedziała, że awarie wykryte przez Antithesis "skłoniły nas do ponownej oceny sposobu testowania systemu".

Mniejsze projekty idą tą samą drogą. Programista Alex Grinman opublikował 29 września opis Tinyboard, platformy w Rust dla gadżetów z e-papierem na ESP32. Budzi się z timera lub przyciskiem, rysuje raz i wraca do głębokiego uśpienia przy poborze około 10 µA. Jego platforma ogranicza sen do od 5 sekund do 24 godzin, żeby zły termin stał się pauzą, a nie pętlą restartów.

Zestawione razem, zapowiedzi tego tygodnia wskazują w jedną stronę: niezależnie od tego, czy granicą jest krajowy firewall, umowa z firmą czy sandbox agenta, platformy mają pokazać, gdzie leży limit i kto go egzekwuje.