Agentom AI w firmach brakuje wiedzy, nie modeli

MIT Technology Review Insights opublikował 5 października raport o wąskim gardle we wdrażaniu AI w firmach. Badanie opiera się na odpowiedziach 300 osób zarządzających danymi i AI. Jako główny punkt porażki wskazuje „lukę wiedzy”. Organizacjom trudno przejść z pilotażu systemów agentowych do działającej produkcji. Średnio tylko 34% projektów z agentami AI trafia do produkcji. Nawet firmy z branży high-tech mają z tym kłopot. Problemem nie jest brak danych, lecz brak zrozumienia, co te dane znaczą w konkretnym kontekście organizacyjnym. Bez wiedzy semantycznej i proceduralnej agenci podejmują błędne decyzje.

Architektura porażki

Menedżerowie najczęściej wskazują na rozproszenie danych. 55% uznało je za główną przeszkodę w rozszerzaniu dostępu agentów do wiedzy.

Liderzy wdrożeń produkcyjnych widzą to inaczej. W firmach, w których 61% projektów agentowych wychodzi poza etap pilotażu, częściej pojawiają się obawy o bezpieczeństwo i prywatność. 72% tej grupy uznało je za poważny problem. Wraz ze skalowaniem firmy przenoszą uwagę z samego dostępu do danych na bezpieczną, uporządkowaną integrację wiedzy. Dobre możliwości w zakresie wiedzy przekładają się wprost na sukces agentów. Liderzy inwestują w infrastrukturę, która łączy surowe dane z wnioskami gotowymi do działania. Chodzi o technologie wyszukiwania, interfejsy API przygotowane pod AI i grafy wiedzy. Celem jest danie agentom „warstwy wiedzy”, która pozwala im rozumować o sytuacji i podejmować niezawodne działania.

„Brak wiedzy to główny powód, dla którego przypadki użycia agentowego AI nigdy nie trafiają do produkcji.”

MIT Technology Review skupia się na stronie firmowej. Programiści tymczasem budują narzędzia do zarządzania agentami na poziomie jednostki i zespołu. Inżynieria „harness”, czyli kod, który zamyka model w pętli, stworzyła nową kategorię oprogramowania. Programiści tworzą lekkie narzędzia do monitorowania, weryfikowania i zarządzania wynikami tych autonomicznych systemów.

Narzędzia dla ery agentów

Threadnote zmierzył koszt „ponownego odkrywania” bazy kodu przez agenta w eksperymencie z parami kontynuacji. W pięciu publicznych repozytoriach narzędzie zużyło o 65,62% mniej tokenów cyklu życia na jedno zweryfikowane ukończenie. Wynik pojawił się, gdy dostarczało kontekst przekazania, w porównaniu z kontynuacją opartą wyłącznie na plikach. Badanie opublikowane 5 października pokazuje, że zarządzanie kontekstem jest głównym czynnikiem kosztów. Bez niego agenci marnują zasoby, czytając w kółko te same pliki i wciąż na nowo diagnozując te same defekty.

Obawy o bezpieczeństwo też napędzają rozwój narzędzi. 2 października Tenuo opublikował wpis o „SalesBleed”, łańcuchu ataku bez kliknięcia ujawnionym przez Zenity Labs 24 września. Atak skłonił Salesforce Agentforce do wycieku danych CRM. Sedno problemu to „cień delegacji”: agent korzystał z szerokich uprawnień, nie mając weryfikowalnego opisu swojego konkretnego zadania. Rozwiązanie open source od Tenuo ogranicza uprawnienia do bieżącego zadania. Wykorzystuje krótkotrwałe podpisane zgody, które zawężają się w miarę przekazywania pracy między agentami.

Fundacja Wikimedia potwierdziła 5 października, że wykryła aktywność „zbuntowanych” agentów OpenAI na swoich platformach.

Nieuprawnione boty wysłały miliony automatycznych żądań do publicznych interfejsów API. Próbowały też wykorzystać narzędzie do robienia notatek. Fundacja podała, że żadne dane nie zostały naruszone, ale uznała „rosnące ryzyko aktywności agentowego AI” w otwartej sieci za powód do niepokoju. Incydent pokazuje, jak potrzebna jest lepsza obserwowalność i kontrola uprawnień we wdrożeniach agentów. Dla programistów priorytetem jest teraz infrastruktura, która pozwala modelom działać bezpiecznie i wydajnie. Narzędzia z tego tygodnia, od systemów pamięci po limity wydatków, odzwierciedlają dojrzewanie tej dziedziny. Uwaga przenosi się z efektu „wow” przy nowym modelu na niewdzięczną pracę przy potokach danych, granicach bezpieczeństwa i zarządzaniu kontekstem. Jak zauważył jeden z programistów we wpisie z 5 października: „Done” to zdanie, które agent potrafi wygenerować, ale nie jest to wynik testu. Weryfikacja, a nie samo generowanie, staje się standardem dla firmowego AI.