Przybywa narzędzi pamięci dla agentów. Badacze: modele językowe same nie rozpoznają struktury

Praca StructMemEval została ostatnio zaktualizowana 1 października. Alina Shutova, Alexandra Olenina, Ivan Vinogradov i Anton Sinitsin opublikowali ją na arXiv po raz pierwszy 11 lutego. Autorzy sprawdzają, czy agenci potrafią ułożyć pamięć długoterminową w struktury, których ludzie używają na co dzień: rejestry transakcji, listy zadań, drzewa.

Wniosek jest wąski, ale niewygodny dla dostawców. Proste modele z wyszukiwaniem rozszerzającym kontekst mają z tymi zadaniami kłopot. Agenci pamięci rozwiązują je niezawodnie, ale tylko wtedy, gdy ktoś powie im, jak ułożyć to, co zapisują. Bez wskazówki obecne modele nie zawsze rozpoznają strukturę.

To ma znaczenie dla każdego, kto w tym kwartale kupuje produkt agentowy. Przekaz stojący za narzędziami opisanymi niżej brzmi: lepsza pamięć to lepsze odpowiedzi. Benchmark sugeruje, że zysk zależy od rusztowania, a nie tylko od skali modelu. Wskazuje też na różnicę między demonstracją a wdrożeniem. Ten sam agent może wyglądać na uporządkowanego albo na roztargnionego w zależności od promptu, którego nikt nie zapisał.

Repozytoria, specyfikacje i warstwa przycinania pojawiają się razem

Vectorize udostępnia Hindsight, otwarty system pamięci, który według firmy celuje w uczenie się, a nie w odtwarzanie. Repozytorium deklaruje najlepsze wyniki na LongMemEval, benchmarku pamięci konwersacyjnej. Twierdzi, że liczby odtworzyli badacze z Virginia Tech Sanghani Center i The Washington Post. Wyniki innych dostawców w tym porównaniu są deklarowane przez nich samych, podaje README.

Osobny projekt o nazwie Agent Memory Repo publikuje specyfikację przechowywania pamięci agenta we własnym repozytorium git, do którego link prowadzi z cognition.com. Pamięci to pliki i foldery powiązane odsyłaczami jak w wiki. Proces cykliczny, który autorzy nazywają Dreaming, dopisuje nowe wpisy i scala duplikaty. Specyfikacja obejmuje pamięć osobistą, pamięć współdzieloną zespołu oraz roje agentów wysyłających zmiany do tego samego repozytorium, gdzie git oznacza konfliktujące edycje.

Żaden z projektów nie podaje niezależnych danych o kosztach ani opóźnieniach w obciążeniach produkcyjnych.

Jeden z deweloperów udostępnił też OntoPrune, warstwę pośrednią, która przycina kod źródłowy, zanim trafi do modelu. README podaje 60 procent mniej tokenów wejściowych w projektach modułowych. Podaje też 6,7 razy szybszy czas do pierwszego tokena na lokalnym modelu kodującym 7B działającym na procesorze AMD Ryzen. W 24 uruchomieniach w piaskownicy raportuje 100 procent zaliczonych testów jednostkowych. To pomiary samego autora, wykonane na trzech archetypach oprogramowania.

OntoPrune twierdzi, że zapobiega 100 procentom wycieku zastrzeżonego kodu, bo pokazuje modelowi wyłącznie typowane kontrakty zależności. Twierdzenie pochodzi z README projektu, a nie od strony trzeciej.

Spill, kolejne otwarte narzędzie, atakuje ten sam problem z drugiej strony. Przechwytuje odpowiedzi narzędzi MCP większe niż 32 KiB. Zapisuje je w lokalnej tabeli DuckDB i przekazuje agentowi zwięzły opis oraz SQL. Projekt podaje, że ładunki poniżej 32 KiB przechodzą bez zmian. Zapytania działają tylko do odczytu, z wyłączonym dostępem zewnętrznym, a wyniki są ograniczone do 500 wierszy. Narzędzie obsługuje Cursor, Codex i Claude Code.

Dlaczego przycinanie kontekstu staje się kategorią produktu

Wspólny wątek jest taki, że okna kontekstu, choćby duże, traktuje się jak budżet, a nie darmowy zasób. Próg Spill to konkretna liczba: 32 KiB. Nagłówek OntoPrune to procent: około 60 procent mniej tokenów wejściowych. Oba projekty zamieniają ograniczenie inżynierskie w gotowe narzędzie.

Dla kupujących oznacza to, że warstwa pamięci staje się decyzją zakupową z kilkoma niekompatybilnymi formatami. Hindsight sprzedaje się jako system z własnymi modelami. Agent Memory Repo trzyma zwykłe pliki w gicie. Spill przechowuje dane w lokalnym pliku bazy pod ~/.spill/spill.duckdb. O przenoszeniu danych między nimi nie ma nic w publicznych źródłach.

Praca benchmarkowa dodaje ostrzeżenie o pomiarze. Autorzy przekonują, że większość benchmarków pamięci długoterminowej skupia się na prostym zapamiętywaniu faktów, odtwarzaniu wieloetapowym i zmianach w czasie. Proste modele z wyszukiwaniem rozszerzającym kontekst już sobie z tym radzą. StructMemEval powstał, żeby sprawdzić coś trudniejszego do ocenienia: czy agent wybrał właściwy kształt dla tego, co zapamiętał.

Żaden z czterech projektów nie opublikował bezpośredniego porównania na tych samych zadaniach.

Sprzęt pod spodem drożeje

Pamięć jest też wąskim gardłem na poziomie krzemu. The Next Platform podał 2 października, że rok obrotowy 2026 Micronu, zakończony 3 września, przyniósł kwartalny przychód 54,23 mld dolarów, 4,8 razy więcej niż rok wcześniej, przy zysku netto 37,7 mld dolarów. Biznes DRAM wzrósł 4,4 razy do 39,77 mld dolarów.

To otoczenie cenowe kształtuje to, na co stać zespoły programistyczne. Zdaniem The Next Platform producenci pamięci celowo nie ścigają się z dodawaniem mocy produkcyjnych, bo niedobory utrzymują wysokie ceny. Jeśli to się utrzyma, wyciskanie tokenów z okna kontekstu przestaje być optymalizacją i staje się osobną pozycją w budżecie.

Volantis, startup chipowy z San Francisco, pozyskał 88 mln dolarów w rundzie Series A współprowadzonej przez Lachy Groom i Abstract Ventures, podał 2 października Tech Funding News. Firma projektuje fotoniczną warstwę pamięci. Twierdzi, że warstwa obsłuży modele powyżej 20 000 000 000 000 parametrów przy do 10 000 tokenów na sekundę na użytkownika, a pierwsze zintegrowane silniki wnioskowania mają pojawić się w 2027. To cele, nie zmierzone wyniki.

Argument startupu jest taki, że SRAM na chipie ma przepustowość, ale mało pojemności. Pamięć o wysokiej przepustowości ma pojemność, ale ograniczają ją przepustowość, koszt i pobór mocy. Volantis twierdzi, że jego fotoniczna tkanina łączy pamięć w pulę, dzięki czemu pojemność i przepustowość rosną razem. Firma celuje w łącza poniżej jednego pikodżula na bit.

Dla porównania Tech Funding News odnotowuje, że Lightmatter pozyskał 400 mln dolarów przy wycenie 4,4 mld dolarów. Ayar Labs pozyskał 500 mln dolarów przy 3,8 mld dolarów, oba na prace nad połączeniami optycznymi.

Co pozostaje nierozstrzygnięte

Przez wydania tego tygodnia przewijają się dwa założenia. Pierwsze mówi, że agenci będą działać wystarczająco długo, żeby potrzebować trwałej pamięci. Specyfikacja Agent Memory Repo zakłada to, opisując roje piszące do jednego magazynu. Drugie głosi, że pamięci można zaufać, i tu pojawia się wątek CPython.

Na Python Language Summit, relacjonowanym przez blog Python Insider, Hood Chatham opisał zapisywanie migawki pamięci interpretera po inicjalizacji, żeby pominąć powtarzaną pracę przy starcie. Testy w Pyodide uruchomiły program hello world około cztery razy szybciej z migawki, 0,353 sekundy wobec 1,406 sekundy. Haczyk to sól hasha, którą Python losuje przy starcie, żeby blokować ataki odmowy usługi. Po przywróceniu migawki ta losowość się utrwala.

Chatham zaproponował jawną fazę inicjalizacji, którą można uruchomić ponownie, żeby wprowadzić losowość z powrotem. Nie zapisano żadnej decyzji.

Paralela nie jest ścisła, ale kształt problemu jest ten sam. Pamięć, która trwa, to pamięć, która może utrwalić błąd, nieaktualne preferencje albo ujawnioną wartość. Hindsight, Agent Memory Repo, Spill i OntoPrune dostarczają sposoby przechowywania i przycinania kontekstu. Żaden nie dostarcza opublikowanej metody audytu tego, co agent zdecydował się zachować.