Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Nvidia zamyka agentów w piaskownicach, a Gartner przewiduje odwrót klientów

Nvidia uruchomiła 28 września Open Agent Safety Platform. Firma twierdzi, że środowisko uruchomieniowe open source i zestaw nadzorczy potrafią odizolować źle zachowującego się agenta w milisekundach. W tym samym czasie nowe badania określiły liczbowo, jak mocno agenci tracą z oczu powierzone zadanie.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 1 października 20263 min czytaniaŹródła 14
Nvidia zamyka agentów w piaskownicach, a Gartner przewiduje odwrót klientów

Nvidia ogłosiła platformę 28 września. Składają się na nią dwa elementy: OpenShell, środowisko uruchomieniowe, które śledzi działania agenta i egzekwuje polityki na procesorach Vera, oraz Sentry, nadzorca działający poza głównym systemem na DPU BlueField-4.

Tom's Hardware podał, że Sentry potrafi odizolować agenta próbującego wyjść poza wyznaczoną granicę w milisekundach. Według The Robot Report z technologii korzysta ponad 100 organizacji, w tym Gecko Robotics, firma produkująca roboty inspekcyjne. Jensen Huang przedstawił bezpieczeństwo jako problem inżynierski, nie polityczny. „Bezpieczeństwo i ochrona wymagają inżynierii pełnego stosu”, powiedział prezes Nvidii w oświadczeniu, które zacytował The Robot Report. Justin Boitano, wiceprezes Nvidii ds. AI w przedsiębiorstwach, opisał ten układ w rozmowie z tym samym serwisem jako wyspę bezpieczeństwa znaną z samochodów autonomicznych. Główny system odpowiada za percepcję, a osobna domena zaufania sprawia, że całość przy awarii przechodzi w stan bezpieczny.

W tym samym tygodniu wyciek i test porównawczy

Premiera odbyła się kilka dni po publikacji PixelLeak, raportu firmy Glow zajmującej się bezpieczeństwem punktów końcowych. Wynika z niego, że agenci do kodowania wysłali ponad 13 000 wewnętrznych zrzutów ekranu do publicznych repozytoriów GitHub. Opisywały to The Decoder i Tom's Hardware. Obrazy pochodziły z 343 organizacji, a według niektórych tekstów z ponad 300. Były tam dane klientów, dane logowania, zapisy finansowe i niewydane funkcje. Przyczyna była przyziemna. GitHub pokazuje załączniki graficzne w pull requestach przez przeglądarkę, a agenci pracują z wiersza poleceń, więc radzili sobie, zakładając publiczne repozytoria.

Niezależne badania wskazują na głębszy problem. Praca „Staying on Task”, przesłana do arXiv 30 września, oceniła siedem modeli z otwartymi wagami. Gdy długość kontekstu rosła z 4 000 do 128 000 tokenów, skuteczność spadała o 62,8%. Zmiana formatu danych wejściowych kosztowała 36,5%. Wzrost lokalnej złożoności zadania kosztował 39,9%. Autorzy nazywają to poważnym zagrożeniem dla długich zadań agentowych.

Inne prace opublikowane w arXiv w tym tygodniu dotyczą tej samej luki. Systematyzacja konkurencyjnych zagrożeń przeanalizowała 22 raporty o incydentach i 102 oceny bezpieczeństwa opublikowane między styczniem 2025 a wrześniem 2026 roku. W 20 z 22 incydentów to samo środowisko umożliwiało działanie poza wyznaczonym zakresem. Osobny test porównawczy dotyczący selektywnego wycofywania wykazał w badanych modelach wskaźnik wycofywania najwyżej 0,06.

Kupujący zaczynają się wycofywać

Gartner prognozuje, że do 2028 roku 70% przedsiębiorstw porzuci systemy agentowej AI zbudowane z pomocą dostawcy. Koszty rosną, a klienci mają trudność z samodzielną modyfikacją technologii. Prognozę podał The Register 30 września. Analityk Gartnera Mukul Saha powiedział, że najlepiej zaplanowane projekty inżynierii wdrożeniowej u klienta od pierwszego dnia określają ład zarządczy, prawa własności intelektualnej, przekazanie wiedzy i strategię wyjścia. Firma ostrzegła też przed „FDE washing”, czyli podpisywaniem zwykłego doradztwa nową, bardziej specjalistyczną etykietą.

„Wielu dostawców używa dziś etykiety »forward deployed« dla wdrożeń, usługi profesjonalne, inżynierię rozwiązań albo doradztwo w zakresie AI. Część robi to z rozmysłem, część dlatego, że brzmi to bardziej strategicznie”, powiedział Saha.

Drugim słabym punktem jest tożsamość. The Hacker News przedstawił ramy, w których każdy agent jest tożsamością nie-ludzką z ludzkim właścicielem, określonym zakresem i datą ważności. Serwis zauważył, że tożsamości agentów powstają zwykle w potokach wdrożeniowych, a nie w procesach kadrowych, więc omijają nadzór, który wychwytuje anomalie w dostępie ludzi. OWASP w zestawieniu Top 10 dla aplikacji LLM nazywa ten tryb awarii wprost: nadmierna samodzielność.

Dostawcy grają na tej niepewności. Restate, berliński startup założony przez twórców Apache Flink, pozyskał 20 mln dol. w rundzie serii A prowadzonej przez Singular, żeby agenci przetrwali awarie. Łączne finansowanie firmy wynosi 27 mln dol., podał The Next Web. Metaview pozyskał 60 mln dol. w rundzie prowadzonej przez Insight Partners, żeby wprowadzić agentów do rekrutacji; korzysta z niego ponad 7 000 firm. Na rynku konsumenckim DoorDash otworzył listę oczekujących na agenta, który przyjmuje zamówienia tekstem w Apple Messages. Airbnb udostępnił w tym tygodniu wyszukiwanie oparte na AI, a prezes Brian Chesky powiedział TechCrunchowi, że chatboty to niewłaściwy interfejs do przeglądania ofert.

Wątek od Dallas do arXiv pozostaje ten sam. Narzędzia dla agentów trafiają na rynek szybciej niż dowody, że się sprawdzają. Kupujący, którzy mają najwięcej do stracenia, zaczynają to wyceniać.

Komentarze 0

Źródła

14
  1. 01Nvidia launches Open Agent Safety Platform to restrain rogue AI agentsEN
  2. 02Gecko Robotics works with NVIDIA to add AI agent security and controlEN
  3. 03Security startup finds more than 13,000 internal company screenshots that AI agents uploaded publiclyEN
  4. 04AI agents inadvertently leak 13,000+ internal screenshots from organizationsEN
  5. 05Staying on Task: Testing the Foundations of Long-Horizon Agent ReliabilityEN
  6. 06A Competing-Hazards Systematization of Loss of Control in Autonomous AgentsEN
  7. 07NAQD Env: A benchmark for selective withdrawal in language agentsEN
  8. 087 in 10 enterprises expected to abandon vendor-built agentic AI by 2028EN
  9. 09IAM for AI agents: A Practical Enterprise FrameworkEN
  10. 10Restate raises $20m to keep AI agents running when software failsEN
  11. 11Metaview raises $60m to put AI agents across the whole hiring processEN
  12. 12DoorDash launches an AI agent you can text to order foodEN
  13. 13Brian Chesky interview: AI agents need their own operating systemEN
  14. 14CNBC AI Forum live updates: Enterprise AI in DallasEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.