Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Pamięć agentów AI dostaje budżet: nowa praca o ciężkoogonowych śladach pamięci

Nowa praca przekonuje, że długodystansowe agenty AI należy oceniać po kształcie zużycia pamięci, a nie tylko po sukcesie zadania i koszcie tokenów. Autorzy proponują kontroler, który dzieli okno kontekstu według rangi. Opis ukazał się we wpisie blogowym z 4 października.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 4 października 20264 min czytaniaŹródła 10
Pamięć agentów AI dostaje budżet: nowa praca o ciężkoogonowych śladach pamięci

Wpis blogowy opublikowany 4 października na Redreamality omawia arXiv:2610.00010, „Heavy-Tailed Memory Traces in Long-Horizon Language Agents”, którego autorami są Xinyuan Song z Emory oraz Zekun Cai z Uniwersytetu Tokijskiego i LocationMind. Teza autorów jest wąska: gdy okno kontekstu jest skończone, pamięć przestaje być neutralnym zapisem i staje się mechanizmem przydziału zasobów. Ocena, która patrzy tylko na końcową notę i rachunek, nie pokazuje, które elementy stale pochłaniają uwagę.

To ujęcie ma znaczenie, bo narzędzia dla agentów wydane w tych samych dniach sprzedają pamięć głównie jako listę funkcji. Aura, samodzielnie hostowany agent w Go opublikowany na GitHubie 4 października, reklamuje pamięć natywną dla grafów z faktami, źródłami i oknami ważności w ArcadeDB oraz ścieżki czasowe, które zwracają dowody potwierdzające. Cosh, agent w Rust wydany tego samego dnia, wysuwa na pierwszy plan obietnicę, że nigdy nie obcina kontekstu. Żaden z projektów nie twierdzi, że rozwiązuje problem przydziału opisany w pracy, i żaden nie jest tak przedstawiany.

Co mierzy praca

Jak podaje tekst na Redreamality, autorzy twierdzą, że przy skończonym kontekście i powtarzanym wyszukiwaniu pamięć skupia się na niewielkim rdzeniu, a rzadkie stany trafiają do długiego ogona, gdzie kumulują się błędy predykcji. Używają ostrożnych etykiet: nazywają ślady ciężkoogonowymi, zgodnymi z rozkładem log-normalnym albo zgodnymi z obciętym rozkładem potęgowym, zamiast twierdzić, że system znajduje się w punkcie krytycznym. Proponowany kontroler CTWM (Core-Tail World Model) dzieli budżet promptu według rangi, steruje koncentracją jednym wykładnikiem, który autorzy nazywają tau, i zachowuje podsumowany ogon zamiast go odrzucać. Kod udostępniono pod adresem github.com/Hik289/world-model-self-organized-criticality, jak podaje wpis.

Hipoteza pomiarowa jest węższa: jeśli model świata agenta naturalnie koncentruje się wokół niewielkiego rdzenia i długiego ogona, czy możemy zbadać tę strukturę i zamienić ją w lepszy kontroler pamięci?

Wpis podaje, że pracę oceniano na Synthetic Graph World, ALFWorld i LongMemEval, i wyraźnie wymienia, czego autorzy nie twierdzą. Ta ostrożność zasługuje na uwagę, bo ten sam tydzień przyniósł serię nagłówków o pamięci, które brzmią jak przełomy. Nagłówek z 24 września mówił, że Google buduje pamięć AI zaprojektowaną tak, by pozostała zamknięta nawet przed Google. Nagłówek z 19 września mówił, że DeepSeek czterokrotnie obniżył koszt pamięci agentów AI. To nagłówki, a nie ustalenia, które ten tekst może zweryfikować na podstawie dossier.

Infrastruktura pod spodem

Przydział pamięci to także problem jądra, a dossier ma na ten temat świeże materiały. Wpis na frn.sh z 4 października śledzi, jak tablice stron przestają być błędem zaokrąglenia, gdy wiele przestrzeni adresowych mapuje te same strony. Łatka Shakeela Butta z 2020 roku dodała metrykę tablic stron do memory.stat; Roman Gushchin zgłosił sprzeciw, że tablice stron to około 1/512 mapowanej pamięci, poniżej 1% w większości cgroupów. Arytmetyka wpisu: jeśli 512 procesów mapuje tę samą stronę, tablice stron kosztują tyle samo co strony danych, bo każdy proces potrzebuje własnych 8-bajtowych PTE.

Przewodnik Erika Rigtorpa po opóźnieniach pamięci wirtualnej, opublikowany ponownie 4 października, stawia tę samą kwestię od strony opóźnień. Główne błędy strony kosztują mniej więcej tyle co wywołanie systemowe odczytu lub zapisu; chybienia TLB kosztują więcej niż trafienia TLB. Środki zaradcze to wstępne stronicowanie, blokowanie pamięci przez mlock lub MAP_LOCKED i MAP_POPULATE, wyłączenie swapa, użycie wielkich stron i unikanie zmian tablic stron po starcie. Nic z tego nie dotyczy modeli językowych, ale to ta sama wymiana: skończone, zarządzane okno kontra okno bez ograniczeń.

Blog Old New Thing firmy Microsoft wypowiedział się 2 października w węższej sprawie: dlaczego obsługa hot-patchingu w Windows istnieje tylko dla niektórych architektur. To przypomnienie, że warstwa platformy ogranicza to, co jakiekolwiek środowisko uruchomieniowe agenta może obiecać w kwestii pamięci i przerwań.

Kontekst z szerszego stosu

How-To Geek opublikował 3 października tekst o sześciu systemach operacyjnych, które ukształtowały Windows i Linuksa, od Multics na MIT w 1969 roku po Uniksa. Zauważa, że uprawnienia NTFS wywodzą się z list kontroli dostępu Multics, a Windows uruchamia swoje jądro w najbardziej wewnętrznym z czterech pierścieni ochrony sprzętowej x86. Materiał historyczny, ale wyjaśnia, dlaczego ochrona pamięci jest zadaniem jądra, a nie uprzejmością aplikacji.

Dwa inne projekty z 4 października są bliżej kwestii agentów. Projekt na GitHubie o nazwie SkyCraft uruchamia Minecraft bez interfejsu graficznego wewnątrz Skyrim, a wtyczka SKSE do Skyrim i mod Fabric do Minecrafta rozmawiają przez pamięć współdzieloną; autor nazywa go wczesnym i eksperymentalnym i ostrzega użytkowników, by kopiowali zapisy. Recoil Optimizer, zestaw do strojenia opóźnień w Windows opublikowany 4 października, reklamuje 117 odwracalnych poprawek, zegar jądra 0,500 ms i twierdzenia o opóźnieniu DPC 18 mikrosekund, bez niezależnej weryfikacji w dossier.

Wątek przewodni jest bez blasku. Czy okno należy do agenta, jądra czy gry, ktoś musi zdecydować, co dostanie miejsce. Wkład pracy o CTWM polega na tym, że ta decyzja staje się sprawdzalna, a nie przypadkowa.

Komentarze 0

Źródła

10
  1. 01CTWM: Heavy-Tailed Memory Traces in Long-Horizon AgentsEN
  2. 02Aura – a self-hosted AI agent with temporal graph memory, written in GoEN
  3. 03Cosh – a Rust agent that never truncates contextEN
  4. 04Page table memory consumptionEN
  5. 05Latency Implications of Virtual MemoryEN
  6. 06Why is there no Windows hot-patching support for other architectures?EN
  7. 07Six operating systems that inspired Windows and LinuxEN
  8. 08Running Minecraft headless inside Skyrim, synced over shared memoryEN
  9. 09Recoil Optimizer: Open-source zero-resident Windows latency tuning suiteEN
  10. 10A memory of Pangea (an early civic network, 1996-1999)EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.