Wtyczki pamięci to zły sposób na długi kontekst AI. Nowa praca i dwa proxy mówią to samo
Narzędzia dla agentów AI traktują problem okna kontekstowego jak problem pamięci. Proxy do kompakcji o nazwie Gobstopper twierdzi, że zużywa 29% mniej tokenów wejściowych niż wbudowany mechanizm Claude Code. Praca z września przekonuje, że wąskim gardłem jest sprzęt, a nie przypominanie.

Oferta Gobstoppera jest wąska i liczbowa. Zastępuje kompakcję wbudowaną w Claude Code i Codex lokalnym proxy. Kompaktuje częściej i trzyma pełną historię w przeszukiwalnej bazie na dysku. Na Terminal-Bench 2.1 dało to, jak podaje projekt, 29% mniej tokenów wejściowych: 84 300 000 wobec 118 600 000.
Liczba zadań prawie się nie zmieniła. Gobstopper rozwiązał 61 z 89 zadań, Claude Code bez proxy rozwiązał 60. Strona projektu przyznaje, że różnica dwóch zadań mieści się w szumie pojedynczego przebiegu. Dodaje też, że 21 z 89 przebiegów tail-0 mogło korzystać ze wcześniejszej wersji. Nagłówek to więc rachunek za tokeny, nie skok możliwości.
Ta różnica ma znaczenie dla każdego, kto płaci za tokeny przy uruchamianiu agentów kodujących. Cięcie 29% w tokenach wejściowych to cięcie 29% w tej części rachunku. Ma też znaczenie dla tych, którzy sądzili, że dłuższe okna kontekstowe rozwiążą sprawę. Nie rozwiążą. Proxy nadal musi decydować, co wyrzucić. Jak czytamy w sekcji ograniczeń Gobstoppera, nie może obiecać, że dostawca wznowi skopiowaną sesję ani że streszczenie zachowało każdy fakt.
Sprzętowa strona tego samego problemu doczekała się rzetelnego omówienia w pracy Tejindera Singha z Dell Technologies, arXiv:2609.30854.
To usystematyzowanie wiedzy, nie nowy algorytm. Główna teza brzmi: dekodowanie ogranicza pamięć, nie moc obliczeniowa. Przy batchu 1 wagi BF16 mają intensywność arytmetyczną 1 FLOP/B, a punkt grzbietowy H100 wynosi 295 FLOP/B. Po przekroczeniu pewnej długości kontekstu to KV cache, a nie wagi, staje się tym, co GPU musi czytać na każdym kroku. Próg spada hiperbolicznie wraz ze wzrostem rozmiaru batcha. Llama-3-70B potrzebuje 327 680 bajtów na token w BF16, podaje praca. Pojedyncza sekwencja 128 000 tokenów dokłada więc 42 GB do 140 GB wag, a sekwencja miliona tokenów wymaga 328 GB. To więcej, niż mieszczą cztery H100 razem.
Pięć rodzin rozwiązań, trzy reżimy
Praca grupuje obejścia w jeden model zajętości pamięci: kwantyzacja, usuwanie tokenów, stronicowanie, cache prefiksów i warstwowanie. Następnie wyprowadza długości przecięcia i pułapy przyspieszenia na mapach roofline dla H100, B200 i MI300X. Chodzi o to, że wyniki mierzone przy różnych politykach batchowania i układach cache nigdy nie były porównywalne. Ta sama kwantyzacja do 2 bitów daje 1,25x przy batchu 1 i 4,82x przy batchu 32. Jak ujmuje to autor, algorytm się nie zmienił, zmienił się reżim.
Zmiany w architekturze zmniejszają stałą, nie krzywą. Przejście z multi-head na grouped-query attention albo multi-head latent attention ścina koszt na token nawet 12x. MLA w DeepSeek-V2 jest najniżej, przy 0,07 MB na token. Każdy wariant nadal rośnie liniowo z długością kontekstu.
Jeśli to ujęcie jest trafne, praktyczne pytanie dla kupujących nie brzmi, kto ma największe okno. Brzmi: która warstwa pochłania marnotrawstwo. Sprzedawcy mogą liczyć za tokeny, za przepustowość pamięci albo za sprawne usuwanie. Praca sugeruje, że wszystkie pięć rodzin technik skaluje czynniki w dużej mierze ortogonalne, więc stos można z nich złożyć.
Magazyn jest nieaudytowalny.
To mniej więcej argument, który Kevin Liao przedstawił 3 października przeciw kategorii wtyczek pamięci. Jego celem jest baza wektorowa, która wchłania minione rozmowy. Potem wstrzykuje pięć najbardziej podobnych fragmentów do każdego promptu. Podobieństwo, pisze, nie mówi nic o tym, który fragment jest poprawny, aktualny albo brakujący, a kod zmienia się codziennie.
Liao proponuje dokumentację: pliki, które pisze człowiek, a czyta agent, zamiast przypominania sobie transkryptów. To tekst opiniotwórczy bez benchmarku i konkuruje z dostawcami sprzedającymi coś odwrotnego. Trafia jednak w tę samą praktyczną nutę co praca i proxy. Rzadkim zasobem jest zadbany kontekst, a każda warstwa między modelem a prawdą kosztuje tokeny albo przepustowość.
Żadne z tych trzech źródeł nie rozstrzyga, co długa sesja powinna zachować.
Te 29% Gobstoppera pochodzi z jednego modelu, GLM 5.3 Flash. Próg wynosił 45 000 tokenów, a nie domyślne 128 000, przy 89 zadaniach i jednym przebiegu na wariant. Punkty przecięcia z pracy są wyprowadzone, nie zmierzone na każdym obciążeniu. Spór o to, gdzie mieszka kontekst, dotyczy teraz arytmetyki, a arytmetyka nie jest rozstrzygnięta.
Źródła
8- 01Gobstopper: context compaction proxy for Claude Code and CodexEN
- 02The KV Cache Is the New Memory WallEN
- 03Agents Don't Need Memory. They Need Documentation.EN
- 04Memory safety for Postgres extensions in C/C++EN
- 05Memory-Safe WebP DecodingEN
- 06An Update on Orion for Linux and WindowsEN
- 07warply: Unofficial one-click Cloudflare WARP applicationEN
- 08Windows on Itanium also provided for hot-patchingEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.