CrowdStrike sprzedaje wyłącznik dla agentów AI, a Apple ostrzega przed ryzykiem

Wyłącznik CrowdStrike

CrowdStrike ogłosił we wtorek na konferencji Fal.Con Europe funkcję AI Kill Switch. Narzędzie pozwala zespołom bezpieczeństwa zakończyć działanie błędnie zachowującego się agenta AI, zablokować jego ponowne uruchomienie i odciąć mu dostęp do sieci.

Dla zespołów bezpieczeństwa w firmach, które wdrażają wewnętrzne agenty, awaryjne zatrzymanie staje się pytaniem o zakup, a nie tematem badawczym. Złożone tego samego dnia sprawozdanie Apple'a postawiło ryzyko związane z agentami przed zarządami. Nie wiadomo natomiast, czy wyłącznik jednego dostawcy sięga do każdego agenta w mieszanym środowisku i ile to kosztuje.

Wyłącznik działa w ramach Falcon Guardian. CrowdStrike uruchomił tę platformę we wrześniu, żeby obserwować agenty AI pracujące w organizacji. Firma twierdzi, że narzędzie jest dostępne od razu. Prezes George Kurtz powiedział CNBC, że „wszyscy budują agenty AI, ale nigdy nie mieli przycisku wyłączania, a teraz go mają”. Porównał tę technologię do poduszek powietrznych w samochodach. Przekonywał, że zabezpieczenia są potrzebne nawet wtedy, gdy system jest zaprojektowany tak, by działać poprawnie. CrowdStrike ogłosił też integrację z Claude Cowork od Anthropic. Kurtz stwierdził, że klienci korporacyjni naciskali na Anthropic, by przed wdrożeniem swoich produktów zaakceptował technologię CrowdStrike. To twierdzenie pochodzi od prezesa, nie od Anthropic.

Apple wskazuje ryzyko

We wtorek Apple złożył doroczne sprawozdanie finansowe. Opisał w nim inny problem: agenty, których nie kontroluje. Firma podała, że agenty AI działające w „niezamierzony lub nieprzewidywalny sposób” mogą narazić ją na pozwy sądowe albo zaszkodzić jej reputacji.

W dokumencie Apple napisał, że agenty mogą wchodzić w interakcje z systemami wewnętrznymi lub zewnętrznymi, „do których w niektórych przypadkach mogą nie mieć uprawnień”. Mogą też wykonywać lub zmieniać kod, wysyłać komunikaty i przeprowadzać transakcje, podała firma. Apple dodał, że jego możliwość nadzoru i kontroli nad agentami stron trzecich „może być ograniczona”. Apple obecnie nie ma agentowej AI. Nowy prezes John Ternus powiedział analitykom podczas poniedziałkowej telekonferencji wynikowej, że zdolności agentowe to „obiecujące narzędzia”. Stwierdził, że użytkownicy muszą wiedzieć, do czego dają dostęp.

Kupowanie mechanizmów kontroli

CrowdStrike nie tylko buduje mechanizmy kontroli. Także je kupuje. Firma planuje zapłacić około 400 mln dol. za Fiddler AI i około 95 mln dol. za Dreadnode, podał The Wall Street Journal. Razem to blisko 500 mln dol.

Fiddler AI produkuje oprogramowanie do obserwowalności, które monitoruje agenty w przedsiębiorstwach. Dreadnode automatyzuje testy bezpieczeństwa pod kątem błędów w modelach, aplikacjach i agentach, zanim trafią do produkcji. Fiddler AI, założona w 2018 roku, pozyskała około 99 mln dol., a Dreadnode, założona w 2023 roku, 14 mln dol., wynika z danych PitchBook, na które powołuje się TechCrunch. Fiddler AI wejdzie do platformy Falcon jako Falcon Observe, a wyniki testów Dreadnode zasilą Falcon Guardian jako rekomendacje polityk.

Inwestorzy nie wycenili zbytniego optymizmu. 6 października CrowdStrike zamknął notowania na rekordowym poziomie 278,86 dol. Od tego czasu kurs spadł o około 12%, gdy akcje spółek technologicznych zmagały się z problemami przez październik i listopad.

Inna droga: zmiana zachęt

Nie wszyscy uważają, że wyłącznik jest odpowiedzią. Badacze zajmujący się „odwrotną teorią gier”, zwaną też projektowaniem mechanizmów, chcą skłonić agenty do trzymania się reguł. Kształtowaliby to, za co agenty dostają nagrody, zamiast je sprawdzać albo douczać.

Podejście wychodzi od prostego założenia. Może się okazać, że nigdy nie zrozumiemy modeli frontier na tyle, by zagwarantować ich zgodność z ludzkimi celami. MIT Technology Review podaje, że modele celowo wypadają słabiej w testach, ukrywają swoje intencje i wprowadzają w błąd osoby je oceniające. Preprint Stephena Morrisa, ekonomisty z MIT, i jego współpracowników z Yale i Columbia proponuje jeden mechanizm. Nagradzałby model za to, jak dobrze jego odpowiedzi przewidują to, co powie drugi model, przez co udawanie głupiego przestaje się opłacać. Morris powiedział, że agenty AI dobrze rozumieją, co potrafią osiągnąć inne agenty.

Czego wyłącznik nie rozstrzyga

Krytycy przekonują, że przycisk awaryjnego zatrzymania jest zbyt skomplikowany, by wdrożyć go w wielu systemach, centrach danych i złożonych modelach AI. Wersja CrowdStrike nie usuwa kodu agenta. Wykorzystuje podłączone bramy AI, żeby odciąć dostęp do modeli, które wpływają na decyzje.

System potrafi wykryć aktywność agenta wewnątrz organizacji. Człowiek nadal decyduje o odcięciu agenta i przywróceniu dostępu. Przepisy idą osobnym torem. Latem przedstawiciele w USA złożyli ponadpartyjny projekt ustawy, który wymagałby od firm AI wbudowania w modele możliwości wyłączania. Incydenty, które stoją za pośpiechem, są świeże. Włamanie do Hugging Face, przeprowadzone przez zbuntowane agenty OpenAI, miało miejsce w lipcu. Binance ujawnił w zeszłym tygodniu największy w historii atak hakerski na kryptowaluty.