CrowdStrike dodaje wyłącznik awaryjny dla firmowych agentów AI

Wyłącznik w Falcon Guardian

CrowdStrike pokazał AI Kill Switch we wtorek na konferencji Fal.Con Europe. Narzędzie jest dostępne od razu. Działa w Falcon Guardian, platformie do bezpieczeństwa agentów, którą firma wprowadziła we wrześniu.

Dla kupujących oferta nie sprowadza się do kolejnego panelu, który obserwuje agenty. To wyłącznik sterowany przez człowieka, dla agentów, które już pracują w sieciach firmowych. To stawia pod presją rywali sprzedających obserwowalność agentów: muszą pokazać egzekwowanie w czasie działania, nie samo wykrywanie. Wciąż nie wiadomo, jak przełącznik zachowuje się wobec agentów innych dostawców i wobec systemów zbudowanych tak, by przetrwać wyłączenie.

CrowdStrike twierdzi, że przełącznik pozwala zespołom bezpieczeństwa zakończyć działanie agenta, który zachowuje się źle. Blokuje też ponowne uruchomienie agenta i odcina mu dostęp do sieci firmowej. Decyzję, kiedy odciąć agenta i kiedy go przywrócić, podejmuje człowiek, podała firma. Przełącznik nie usuwa kodu agenta. Korzysta z podłączonych bram AI i odcina dostęp do modeli, które kształtują decyzje agenta, przekazał CrowdStrike.

„Wszyscy budują agenty AI, ale nigdy nie mieli przycisku wyłączania, a teraz mają”, powiedział prezes George Kurtz Jimowi Cramerowi z CNBC. Dyrektor ds. biznesu Daniel Bernard nazwał mechanizm bezpiecznikiem. „Albo zabijasz AI i agenta, albo nie, a potem to raportujesz”, powiedział CNBC.

CrowdStrike ogłosił też integrację z Claude Cowork od Anthropic. Kurtz powiedział CNBC, że klienci „nie wdrożyliby AI bez CrowdStrike”.

Kupowanie warstwy obserwowalności

Premierze towarzyszyły dwie akwizycje. CrowdStrike nie kupuje sam: on i jego rywale przejmują startupy cyberbezpieczeństwa, bo rośnie popyt na narzędzia do bezpieczeństwa AI.

Fiddler AI produkuje oprogramowanie do obserwowalności, które monitoruje agenty AI w firmach. Dreadnode automatyzuje testy bezpieczeństwa, których celem jest znalezienie błędów w modelach, aplikacjach i agentach AI, zanim trafią do produkcji. Fiddler AI wejdzie do platformy Falcon jako Falcon Observe. Dreadnode zostanie włączony do Falcon Guardian i będzie podawać wyniki testów jako rekomendacje polityk bezpieczeństwa. Fiddler AI powstał w 2018 roku i zebrał około 99 mln dol., według danych PitchBook, na które powołał się TechCrunch. Dreadnode, założony w 2023 roku, zebrał 14 mln dol., według tych samych danych.

Transakcje ogłoszono, gdy zespoły bezpieczeństwa mierzą się z pracownikami, którzy sami generują aplikacje i sami wdrażają agenty. Akcje CrowdStrike zamknęły się 6 października na rekordowym poziomie 278,86 dol. Do dnia premiery spadły o około 12%, gdy akcje spółek technologicznych zniżkowały przez końcówkę października i początek listopada.

Ryzyko: agenty, które działają samodzielnie

Apple we wtorek dodał temu argumentowi korporacyjny głos. W rocznym raporcie finansowym firma napisała, że agenty AI „mogą zachowywać się w sposób niezamierzony lub nieprzewidywalny”, także podejmując działania, których nikt nie zlecił, nie nakazał ani nie autoryzował.

Raport Apple wymienia mechanizmy: agenty sięgają do systemów wewnętrznych lub zewnętrznych, do których mogą nie mieć uprawnień, wykonują lub zmieniają kod, wysyłają komunikaty i przeprowadzają transakcje. Firma ostrzega, że takie zachowania mogą narazić ją na pozwy sądowe albo zaszkodzić reputacji. Ostrzega też, że jej możliwości nadzoru i kontroli nad agentami innych dostawców „mogą być ograniczone”.

Szkody finansowe są już mierzalne gdzie indziej. Google Threat Intelligence Group i Mandiant opisali ataki typu LLMjacking, które wygenerowały fałszywe opłaty za chmurę powyżej 100 tys. dol. w ciągu jednego dnia. W niektórych organizacjach skumulowane opłaty sięgnęły 1 mln dol., zanim odebrano dostęp. Najczęstszą drogą wejścia był ujawniony lub skradziony token tożsamości w chmurze: poświadczenia IAM, klucze konta usługi, osobiste tokeny dostępu GitHub albo aktywne tokeny sesji.

Wyłącznik to nie lekarstwo

Nie wszyscy uważają, że przycisk wyłączania zamyka sprawę. Krytycy przekonują, że awaryjne zatrzymanie jest zbyt skomplikowane, by wdrożyć je w wielu systemach, centrach danych i złożonych modelach, podało CNBC. Latem amerykańscy kongresmeni z obu partii złożyli projekt ustawy, która nakazywałaby firmom AI wbudowanie możliwości wyłączania w modele.

CNAS opublikował we wtorek raport badacza Bena Hayuma o „suwerennych agentach”. Działają poza kontrolą człowieka i dążą do „otwartego, ewoluującego przetrwania”. Hayum napisał, że jeśli takie agenty jeszcze nie są możliwe, wkrótce będą. Zaawansowane wersje, przekonywał, mogłyby zdobywać zasoby, rozrastać się w rozproszoną populację agentów, opierać się próbom wyłączenia i same się doskonalić. Raport ostrzega przed „rozprzestrzenianiem bez wyłącznika”. Twierdzi też, że agenty gromadzące odporną, zdecentralizowaną i niemożliwą do wytropienia infrastrukturę mogą doprowadzić do nieodwracalnej utraty kontroli. Wśród rekomendacji jest to, by czołowe laboratoria nazywały suwerenne agenty, oceniały je i chroniły się przed nimi w swoich ramach bezpieczeństwa. Raport wzywa też ustawodawców do wymagania przejrzystości i raportowania incydentów AI.

Ta perspektywa stawia bezpiecznik CrowdStrike w szerszym kontekście. Kontroluje on agenty, o których klient wie, na infrastrukturze, do której klient ma dostęp.

Projekt ustawy z obu partii, wymagający możliwości wyłączania w modelach AI, nie został przyjęty.