Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Wtyczki pamięci to zły sposób na długi kontekst AI. Nowa praca i dwa proxy mówią to samo

Narzędzia dla agentów AI traktują problem okna kontekstowego jak problem pamięci. Proxy do kompakcji o nazwie Gobstopper twierdzi, że zużywa 29% mniej tokenów wejściowych niż wbudowany mechanizm Claude Code. Praca z września przekonuje, że wąskim gardłem jest sprzęt, a nie przypominanie.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 3 października 20264 min czytaniaŹródła 8
Wtyczki pamięci to zły sposób na długi kontekst AI. Nowa praca i dwa proxy mówią to samo

Oferta Gobstoppera jest wąska i liczbowa. Zastępuje kompakcję wbudowaną w Claude Code i Codex lokalnym proxy. Kompaktuje częściej i trzyma pełną historię w przeszukiwalnej bazie na dysku. Na Terminal-Bench 2.1 dało to, jak podaje projekt, 29% mniej tokenów wejściowych: 84 300 000 wobec 118 600 000.

Liczba zadań prawie się nie zmieniła. Gobstopper rozwiązał 61 z 89 zadań, Claude Code bez proxy rozwiązał 60. Strona projektu przyznaje, że różnica dwóch zadań mieści się w szumie pojedynczego przebiegu. Dodaje też, że 21 z 89 przebiegów tail-0 mogło korzystać ze wcześniejszej wersji. Nagłówek to więc rachunek za tokeny, nie skok możliwości.

Ta różnica ma znaczenie dla każdego, kto płaci za tokeny przy uruchamianiu agentów kodujących. Cięcie 29% w tokenach wejściowych to cięcie 29% w tej części rachunku. Ma też znaczenie dla tych, którzy sądzili, że dłuższe okna kontekstowe rozwiążą sprawę. Nie rozwiążą. Proxy nadal musi decydować, co wyrzucić. Jak czytamy w sekcji ograniczeń Gobstoppera, nie może obiecać, że dostawca wznowi skopiowaną sesję ani że streszczenie zachowało każdy fakt.

Sprzętowa strona tego samego problemu doczekała się rzetelnego omówienia w pracy Tejindera Singha z Dell Technologies, arXiv:2609.30854.

To usystematyzowanie wiedzy, nie nowy algorytm. Główna teza brzmi: dekodowanie ogranicza pamięć, nie moc obliczeniowa. Przy batchu 1 wagi BF16 mają intensywność arytmetyczną 1 FLOP/B, a punkt grzbietowy H100 wynosi 295 FLOP/B. Po przekroczeniu pewnej długości kontekstu to KV cache, a nie wagi, staje się tym, co GPU musi czytać na każdym kroku. Próg spada hiperbolicznie wraz ze wzrostem rozmiaru batcha. Llama-3-70B potrzebuje 327 680 bajtów na token w BF16, podaje praca. Pojedyncza sekwencja 128 000 tokenów dokłada więc 42 GB do 140 GB wag, a sekwencja miliona tokenów wymaga 328 GB. To więcej, niż mieszczą cztery H100 razem.

Pięć rodzin rozwiązań, trzy reżimy

Praca grupuje obejścia w jeden model zajętości pamięci: kwantyzacja, usuwanie tokenów, stronicowanie, cache prefiksów i warstwowanie. Następnie wyprowadza długości przecięcia i pułapy przyspieszenia na mapach roofline dla H100, B200 i MI300X. Chodzi o to, że wyniki mierzone przy różnych politykach batchowania i układach cache nigdy nie były porównywalne. Ta sama kwantyzacja do 2 bitów daje 1,25x przy batchu 1 i 4,82x przy batchu 32. Jak ujmuje to autor, algorytm się nie zmienił, zmienił się reżim.

Zmiany w architekturze zmniejszają stałą, nie krzywą. Przejście z multi-head na grouped-query attention albo multi-head latent attention ścina koszt na token nawet 12x. MLA w DeepSeek-V2 jest najniżej, przy 0,07 MB na token. Każdy wariant nadal rośnie liniowo z długością kontekstu.

Jeśli to ujęcie jest trafne, praktyczne pytanie dla kupujących nie brzmi, kto ma największe okno. Brzmi: która warstwa pochłania marnotrawstwo. Sprzedawcy mogą liczyć za tokeny, za przepustowość pamięci albo za sprawne usuwanie. Praca sugeruje, że wszystkie pięć rodzin technik skaluje czynniki w dużej mierze ortogonalne, więc stos można z nich złożyć.

Magazyn jest nieaudytowalny.

To mniej więcej argument, który Kevin Liao przedstawił 3 października przeciw kategorii wtyczek pamięci. Jego celem jest baza wektorowa, która wchłania minione rozmowy. Potem wstrzykuje pięć najbardziej podobnych fragmentów do każdego promptu. Podobieństwo, pisze, nie mówi nic o tym, który fragment jest poprawny, aktualny albo brakujący, a kod zmienia się codziennie.

Liao proponuje dokumentację: pliki, które pisze człowiek, a czyta agent, zamiast przypominania sobie transkryptów. To tekst opiniotwórczy bez benchmarku i konkuruje z dostawcami sprzedającymi coś odwrotnego. Trafia jednak w tę samą praktyczną nutę co praca i proxy. Rzadkim zasobem jest zadbany kontekst, a każda warstwa między modelem a prawdą kosztuje tokeny albo przepustowość.

Żadne z tych trzech źródeł nie rozstrzyga, co długa sesja powinna zachować.

Te 29% Gobstoppera pochodzi z jednego modelu, GLM 5.3 Flash. Próg wynosił 45 000 tokenów, a nie domyślne 128 000, przy 89 zadaniach i jednym przebiegu na wariant. Punkty przecięcia z pracy są wyprowadzone, nie zmierzone na każdym obciążeniu. Spór o to, gdzie mieszka kontekst, dotyczy teraz arytmetyki, a arytmetyka nie jest rozstrzygnięta.

Komentarze 0

Źródła

8
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02The KV Cache Is the New Memory WallEN
  3. 03Agents Don't Need Memory. They Need Documentation.EN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07warply: Unofficial one-click Cloudflare WARP applicationEN
  8. 08Windows on Itanium also provided for hot-patchingEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.