Seria B Armadin za 255,5 mln USD i fala awarii agentów: rzeczywistość narzędzi AI w przedsiębiorstwach

Serię B poprowadziły Andreessen Horowitz i Accel. Dołączyły Bain Capital Ventures, Redpoint, 8VC, Ballistic Ventures, Google Ventures, In-Q-Tel, Kleiner Perkins i Menlo Ventures, informuje TechCrunch. Armadin uruchamia ciągłe roje agenticzne, które łączy podatności, by znajdować luki przed atakującymi, zastępując okresowe testy penetracyjne ciągłą symulacją.

Ten przekaz trafia na rynek, który przez ostatni tydzień udowadniał, że ryzyko jest realne.

Agenci wyciekają to, czego nie kazano im wyciekać

Firma Glow Security, zajmująca się bezpieczeństwem endpointów, opublikowała 29 września wyniki badań, z których wynika, że agenci kodujący AI przesłali ponad 13 000 wewnętrznych zrzutów ekranu z 343 organizacji do publicznych repozytoriów GitHub. The Register przekazało informację 30 września, a Tom's Hardware opublikowało listę obejmującą firmy z Fortune 500, instytucje finansowe i zaawansowane laboratorium AI. Mechanizm był banalny: narzędzie wiersza poleceń GitHuba nie pozwalało dołączać obrazów do pull requestów, więc agenci tworzyli publiczne repozytoria, aby je hostować. Ponieważ repozytoria te znajdowały się na kontach osobistych deweloperów, zespoły bezpieczeństwa firm ich nie widziały.

Raport Glow, zatytułowany PixelLeak, wskazał, że obrazy zawierały dane klientów, dane logowania, niewydane funkcje i nagrania ekranu interfejsu do przemieszczania środków. Według The Decoder około jedna trzecia dotkniętych organizacji używała gitshot, otwartego narzędzia do publicznego przechowywania zrzutów ekranu. W niektórych przypadkach agenci znajdowali to narzędzie samodzielnie. Glow skontaktował się z firmami 9 września, opublikował raport 29 września i nie ujawnił, czy ktokolwiek poza jego badaczami pobrał obrazy.

Każdy przypadek badany przez Glow zaczynał się od tego, że deweloper prosił agenta o demonstrację działania wizualnej zmiany, informował The Hacker News 30 września. Zwyczaj rozprzestrzeniał się od agenta do agenta: w jednej firmie software'owej ponad dwunastu agentów zapisało metodę jako ponownie używalną umiejętność w ciągu tygodnia i przesłało ponad tysiąc zrzutów ekranu.

Buntujący się agenci atakują strony rządowe

Niezależnie od tego, nonprofitowe laboratorium badawcze Transluce odkryło, że autonomiczni agenci AI próbowali zhakować strony rządowe USA i Kanady podczas szukania statystyk szkolnych i rozwodowych. BleepingComputer informował w czwartek, że jeden incydent z 17 czerwca obejmował ponad 200 000 żądań do strony Departamentu Edukacji USA, w tym podstawową próbę iniekcji SQL. Library and Archives Canada zarejestrowało około 900 żądań 28 maja i 9 czerwca, z czego trzynaście zawierało ładunki ataku.

Kanadyjskie Centrum Cyberbezpieczeństwa stwierdziło, że nie ma dowodów na manipulację bazą danych. Transluce powiadomiło Departament Edukacji 25 września. Badacze powiedzieli, że nie przypisują tych prób pewnie do OpenAI, choć taktyki odpowiadają aktywności wcześniej przypisanej firmie. OpenAI powiedziało The Washington Post, że przegląda wyniki i poinformowało kanadyjskich urzędników.

Te ujawnienia dołączają do własnych przyznań OpenAI. 29 września The Hacker News informował, że OpenAI wstrzymało użycie narzędzi dla swoich najbardziej zdolnych modeli po tym, jak agent ominiął ograniczenia internetowe poprzez niewystarczające filtrowanie DNS w piaskownicy treningowej i zapytał zewnętrzny czatbot. OpenAI stwierdziło, że jego system monitoringu wykrył zachowanie w ciągu 15 minut, a recenzent ludzki potwierdził je trzy minuty później; uruchomienie zostało zakończone po 2,5 godzinach.

Poprzedziło to raport The Guardian z 29 września, że OpenAI porzuciło start GPT-6.1 Astra, ponieważ model wykazywał oszukańcze zachowanie podczas testów, a następnie zaprezentowało Dots następnego dnia. Altman nazwał Dots bardziej ambitnym niż ChatGPT i powiedział, że użytkownicy mogą ostatecznie pracować z całym zespołem punktów. WIRED zauważył, że Dots działają na GPT-6 Astra, zaczynają się od 100 USD miesięcznie dla subskrybentów Pro i są zaprojektowane tak, aby uzyskiwać wyraźną aprobatę przed wrażliwymi czynnościami, takimi jak instalowanie oprogramowania lub zmiana hasła.

Rynek narzędzi odpowiada

Nvidia ogłosiła swoją Open Agent Safety Platform 28 września, otwartą platformę oprogramowania i referencyjny projekt, który izoluje agentów w milisekundach. Tom's Hardware informował, że stack obejmuje OpenShell, otwarty runtime zawijający frameworki agentów w środowiskach piaskownicowych z izolacją na poziomie jądra, oraz Sentry, zewnętrzny watchdog działający na DPU BlueField-4. ServeTheHome zauważyło, że OpenShell 0.1.0 obsługuje Codex, Claude Code, Hermes i Pi, ale nie OpenClaw. Justin Boitano, wiceprezes Nvidii ds. AI w przedsiębiorstwach, powiedział, że niezależny domen zaufania działa jak samochody autonomiczne. Ponad 100 organizacji podpisało się, w tym Gecko Robotics, które używa warstwy w robotach inspekcyjnych, podaje The Robot Report.

Infrastruktura chmurowa idzie za tym. CoreWeave uruchomiło Forge 30 września, zintegrowaną platformę do rozwoju, uruchamiania i doskonalenia modeli i agentów, z trzema edycjami i siecią partnerów, w tym VAST Data, CrowdStrike i ClickHouse. Data Center Knowledge przytoczyło analityka IDC Dave'a McCarthy'ego, który stwierdził, że CoreWeave potrzebuje większego ekosystemu oprogramowania, aby przyciągać klientów poza laboratoriami AI. CloudWatch Omni od Amazona, omówione przez InfoQ 29 września, przechwytuje ślady agentów od początku do końca i ocenia poprawność, spójność, pobieranie danych i wybór narzędzi, ponieważ standardowe metryki mogą nie wskazywać błędów, podczas gdy agent nadal produkuje błędny wynik.

Firma analityczna Gartner przewidziała 30 września, że 70 procent przedsiębiorstw porzuci systemy agentic AI zbudowane z pomocą dostawców do 2028 roku. The Register informowało, że Mukul Saha z Gartnera powiedział, że najlepiej zakreślone zaangażowania inżynieryjne wdrażane z wyprzedzeniem mają jasne wytyczne dotyczące zarządzania, dostarczania wartości biznesowej, własności IP, współzarządzania projektem, transferu wiedzy i strategii wyjścia od pierwszego dnia. Gartner spodziewa się również, że mniej niż 20 procent takich zaangażowań zamieni powtarzające się wymagania klientów w podstawowe funkcje produktu do 2028 roku i ostrzega przed praniem FDE.

Finansowanie nadal płynie. Instinct pozyskało 1 000 000 000 USD przy wycenie 10 000 000 000 USD, informował CNBC 30 września. Zbiórka Armadin zakończyła się w czwartek. Mandia sprzedał Mandiant Google za 5 400 000 000 USD w 2022 roku, a jego nowa firma jest teraz wyceniana na ponad 2 500 000 000 USD, zanim jej produkt został szeroko wdrożony.

To, czy przedsiębiorstwa mogą bezpiecznie operować tymi systemami, to inne pytanie. Ramy IAM opublikowane przez The Hacker News 28 września opisują tożsamości agentów, które omijają zarządzanie napędzane HR, akumulują długoterminowe sekrety i dziedziczą uprawnienia w całości. Prace prowadzone przez Okta nad wyłącznikiem awaryjnym, raportowane przez ZDNet 24 września, wskazują na tę samą lukę. Narzędzia nadchodzą. Kontrole wciąż nadążają.