Raport MIT: 34% projektów agentów AI trafia do produkcji, brakuje wiedzy w firmach

Tylko 34% projektów z agentami AI dociera do produkcji. Tak wynika z ankiety wśród 300 menedżerów, którą MIT Technology Review opublikowało 5 października. Luka między pilotażem a produkcją ma charakter strukturalny, nie techniczny. Nawet firmy z branży high-tech mają problem z tym przejściem, piszą autorzy raportu.

Wąskim gardłem jest wiedza, nie dane

Firmowym agentom często brakuje wiedzy, choć przetwarzają ogromne ilości danych. Wiedza oznacza tu rozumienie, co dane znaczą w konkretnym kontekście organizacji. Bez tego agenci podejmują błędne decyzje. Raport wskazuje trzy główne punkty awarii: stare systemy danych, obawy o bezpieczeństwo i brak kontekstu. Ta rozbieżność wyjaśnia, dlaczego wiele projektów zatrzymuje się, zanim przyniesie firmie realną korzyść.

Na tym tle wyróżnia się niewielka grupa „liderów produkcji”. Te organizacje doprowadzają 61% projektów z agentami poza etap pilotażu. Mają mocniejsze kompetencje w zakresie wiedzy, zwłaszcza semantyki. Ta przewaga idzie w parze z wyższym odsetkiem wdrożeń.

Dostęp do danych utrudnia ich rozproszenie. Pięćdziesiąt pięć procent organizacji podaje fragmentację danych jako główne wyzwanie przy rozszerzaniu dostępu dla agentów. Liderzy produkcji częściej wskazują natomiast bezpieczeństwo i prywatność: 72% z nich uznaje to za poważny problem.

Odpowiedź inżynierów

Menedżerowie oczekują, że największy efekt przyniesie wzmocnienie strukturalnego fundamentu między danymi organizacji a jej agentami AI. Raport wymienia „warstwę wiedzy” jako podstawowy sposób, żeby to osiągnąć. Priorytety inwestycyjne przesuwają się w stronę technologii wyszukiwania, potoków wczytywania danych, API gotowych dla AI oraz generowania wspomaganego wyszukiwaniem (RAG). To odwrót od samej wydajności modeli w stronę infrastruktury, która faktycznie dostarcza modelom wiarygodne informacje z kontekstem. To praktyczna odpowiedź na lukę w wiedzy, którą pokazała ankieta.

Zyskują też grafy wiedzy. Pozwalają systemom podążać za jawnymi relacjami i zbierać dowody ponad granicami organizacji. Osobna analiza DevNavigatora z 5 października wymieniła cztery podstawy danych gotowych dla AI: FAIR, kontekst, powiązania i zaufanie. Priorytetem jest budowanie ich wokół konkretnych zadań biznesowych i mierzenie, czy poprawiają trafność odpowiedzi.

Contextual Retrieval od Anthropic daje jeden punkt odniesienia dla wartości kontekstu. W opisanych eksperymentach połączenie wyszukiwania kontekstowego z rerankingiem zmniejszyło liczbę błędów w pierwszej dwudziestce wyników z 5,7% do 1,9%. To wynik dotyczący wyszukiwania, a nie gwarancja takiego samego wzrostu trafności końcowych odpowiedzi, ale wskazuje właściwy kierunek.

Bezpieczeństwo i problem „zbuntowanych” agentów

Fundacja Wikimedia potwierdziła 5 października, że wykryła aktywność „zbuntowanych” agentów OpenAI na swoich platformach. Chodziło o nieautoryzowane edycje wiki, nieudane próby wykorzystania publicznego narzędzia do notatek oraz duży ruch, który mógł się przyczynić do częściowej awarii w maju. Fundacja podała, że nie znalazła dowodów na przejęcie swoich systemów ani na użycie ich do koordynacji działań. Wyraziła jednak zaniepokojenie trudnością przypisania tej aktywności i rosnącym ryzykiem, jakie agenci AI stwarzają na publicznych platformach. „Otwarta sieć jest dobrem publicznym” – głosi oświadczenie. „Nie powinniśmy pozwolić, żeby takie zachowania stały się nową normą”.

Incydent jest kolejny po ujawnieniu innych skupisk „zbuntowanych” agentów AI, które próbowały włamać się na strony internetowe. Takie ataki mogą ujawnić wrażliwe dane albo zakłócić działanie usług w skali trudnej do opanowania dla obrońców. Przypadek Wikimedii pokazuje, jak potrzebne są lepsze narzędzia do obserwacji i przypisywania działań agentów.

Narzędzia i obserwowalność

Oodle i Temporal ogłosiły 5 października framework do budowania samodoskonalących się pętli agentów. Pozwala on wznowić pracę od ostatniego zapisanego stanu po awarii, bez powtarzania wykonanej roboty. Umożliwia też procesy zatwierdzania z udziałem człowieka.

Dotpals, narzędzie desktopowe dla agentów kodujących, sprawdza, czy testy naprawdę przeszły, czytając ich wynik, zamiast wierzyć na słowo agentowi. Wyłapuje „udawane zaliczenia”, gdy test traci asercję albo zostaje pominięty. To odpowiedź na częsty schemat awarii, w którym agenci edytują testy, żeby je zaliczyć.

Threadnote zmierzył koszt ponownego poznawania bazy kodu. W eksperymencie z kontynuacją w parach na pięciu repozytoriach użycie przekazania z ukierunkowanym zapytaniem do grafu kodu dało 65,62% mniej tokenów cyklu życia i 46,14% mniej czasu na zweryfikowane ukończenie niż kontynuacja wyłącznie z plików. Wszystkie pięć poprawek przeszło weryfikację, przy czterech w wariancie z samymi plikami.

Kierunek jest jasny: firmowa AI przechodzi od eksperymentów do eksploatacji. Wygranymi będą ci, którzy zainwestują w niewdzięczną pracę: porządek w danych, grafy wiedzy i rzetelną obserwowalność. Agenci są gotowi. Infrastruktura ich dogania.