Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Wtyczki pamięci AI rozwiązują zły problem, twierdzą deweloperzy

Proxy kompresujące sesje Claude Code i Codex zużyło o 29% mniej tokenów wejściowych niż wbudowany etap kompresji, twierdzą jego autorzy. Rozwiązało 61 z 89 zadań Terminal-Bench 2.1.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 3 października 20264 min czytaniaŹródła 9
Wtyczki pamięci AI rozwiązują zły problem, twierdzą deweloperzy

Gobstopper, proxy kompresujące dla Claude Code i Codex, opublikowało 27 i 28 września wyniki testów porównawczych. Z proxy rozwiązało 61 z 89 zadań, bez niego 60, przy 84,3 mln tokenów wejściowych wobec 118,6 mln.

Strona projektu podaje próg 45 000 tokenów zamiast domyślnych 128 000, jedno podejście na wariant, z GLM 5.3 Flash. Ta sama strona przyznaje, że różnica dwóch zadań mieści się w szumie pojedynczego przebiegu. Pisze też, że 21 z 89 prób tail-0 mogło działać na wcześniejszej wersji. Ta szczerość jest rzadsza niż twierdzenie o przyspieszeniu.

Takie narzędzia opierają się na jednym założeniu: wąskim gardłem nie jest okno kontekstu, lecz pamięć. Coraz większa grupa praktyków przekonuje, że branża od dwóch lat rozwiązuje niewłaściwą połowę tego problemu. Dlatego strona z benchmarkiem i akapitem zastrzeżeń czyta się dziś ciekawiej niż wpis zapowiadający premierę.

Co właściwie robią wtyczki pamięci

Kevin Liao w tekście z 3 października opisuje standardową architekturę wtyczki pamięci agenta. Rozmowy dzieli się na fragmenty, fragmenty trafiają do bazy wektorowej, a przy każdym prompcie dokleja się pięć najbardziej podobnych. Jeśli agent wygląda na zdezorientowanego, dostaje narzędzie wyszukiwania, żeby dokopać się do reszty.

Liao wymienia pięć wad tego projektu. Wyszukiwanie podobieństw nie odróżnia, który fragment jest poprawny, a który aktualny. Fragmenty tracą otaczający je kontekst. Przeszłość jest traktowana jak prawda, choć kod się zmienia. Agent nie wyszuka tego, czego nie wie, że mu brakuje. A magazynu 10 000 embeddingów nie da się zaudytować. Jego wniosek jest dosadny. Ludzie zapisują rzeczy zamiast oglądać od nowa spotkania sprzed trzech lat, przekonuje, i agenci powinni działać tak samo.

Rozwiązaniem NIE jest danie agentowi narzędzia wyszukiwania, którym przeszukuje 10 mln tokenów rozmów.

„Cały ekosystem wtyczek pamięci rozwiązuje zły problem”, pisze. To tekst opiniotwórczy, nie pomiar. Trafia jednak obok twardszych dowodów, że obsługa kontekstu jest problemem systemowym, a nie problemem wyszukiwania.

Strona sprzętowa tego samego sporu

Praca Systematization of Knowledge, arXiv:2609.30854, autorstwa Tejindera Singha z Dell Technologies, przekonuje, że dekodowanie długiego kontekstu ogranicza przepustowość pamięci, nie arytmetyka. Jak streścił jaehun.me 3 października, praca wyprowadza punkt przecięcia, w którym bajty pamięci KV na krok przewyższają bajty wag modelu. Ten próg spada hiperbolicznie wraz ze wzrostem rozmiaru batcha.

Liczby są konkretne. Llama-3-70B w BF16 potrzebuje 140 GB wag, więcej niż 80 GB HBM na H100. Jej pamięć KV dokłada 42 GB dla jednej sekwencji 128 tys. tokenów i 328 GB przy milionie tokenów, więcej, niż mieszczą cztery H100 razem.

Praca zauważa też, że ta sama kwantyzacja 2-bitowa daje 1,25x przy batchu 1 i 4,82x przy batchu 32. Zmienił się reżim, nie algorytm. Cięcie tokenów o 29% w Gobstopperze i krzywe przecięcia z pracy to ta sama historia opowiedziana na różnych warstwach stosu.

Postgres i koszt złej pamięci

Bezpieczeństwo pamięci to starsza, bardziej dosłowna wersja tej debaty. Inżynier ClickHouse Philip Dubé napisał 30 września o wprowadzaniu C++ do rozszerzeń Postgresa. Postgres alokuje tam przez palloc i areny MemoryContext, a błędy obsługuje przez setjmp/longjmp. Destruktory C++ nie przeżywają tego skoku. Nieprzechwycony wyjątek może zmusić postmastera do restartu wszystkiego, na wypadek uszkodzenia pamięci współdzielonej.

Odpowiedzią ClickHouse dla pg_clickhouse było usunięcie C++ w całości i zastąpienie clickhouse-cpp nową biblioteką C. pg_re2 trzyma C++ w jednym pliku opakowania. pg_chdb przeniosło libchdb do osobnego pliku wykonywalnego pomocniczego.

Ten sam wzorzec widać w dekodowaniu obrazów. wpd od zespołu Halide, dekoder WebP w Ruście z ręcznie pisanym SIMD, powstał w reakcji na CVE-2023-4863. CISA potwierdziła, że tę lukę wykorzystywano w atakach, a dotyczyła Chrome'a, Firefoksa, Signala i Microsoft Teams. Zespół przytacza własne dane Chromium: około 70% poważnych błędów bezpieczeństwa bierze się z problemów z bezpieczeństwem pamięci.

Mniejsze pozycje, ten sam kierunek

Wydania z tego tygodnia były cichsze. Kagi podało 3 października, że kończy prace nad Orionem dla Linuksa i Windowsa i otwiera kod obu wersji. Beta dla Linuksa nie dostaje aktualizacji Kagiego po 2 października 2026 r., a planowana na koniec 2026 r. premiera windowsowa jest odwołana.

Deweloper opublikował Warply, nieoficjalnego jednoprzyciskowego klienta Cloudflare WARP dla Windows 10 i 11, który przechowuje klucz WireGuard w Windows DPAPI. Blog Microsoftu Old New Thing opublikował 1 października wpis o hot-patchingu w Windows na Itanium. LiberNT, fork ReactOS celujący w ARM64 i Windows 11, był 3 października nieosiągalny, bo jego wyzwanie proof-of-work Anubis nie chciało się wczytać.

Żadna z tych pozycji nie rozstrzyga, czy agenci potrzebują pamięci, czy dokumentacji. Ciężar dowodu się jednak przesunął. Kto dziś wypuszcza warstwę pamięci, musi pokazać, że bije dobrze prowadzony plik, a pierwsze poważne benchmarki dopiero nadchodzą.

Komentarze 0

Źródła

9
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02Agents don't need memory, they need documentationEN
  3. 03The KV Cache Is the New Memory WallEN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07Warply: unofficial one-button Cloudflare WARP app for WindowsEN
  8. 08Windows on Itanium also provided for hot-patchingEN
  9. 09LiberNT: fork of ReactOS focused on ARM64 and Windows 11EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.