I plugin di memoria non risolvono il contesto lungo, secondo un nuovo articolo e due proxy
Gli strumenti per agenti AI trattano il problema della finestra di contesto come un problema di memoria. Un proxy di compattazione chiamato Gobstopper dichiara il 29% in meno di token di input rispetto al passaggio integrato di Claude Code. Un articolo di settembre sostiene che il vero collo di bottiglia è l'hardware, non il richiamo.

La proposta di Gobstopper è stretta e numerica. Sostituisce la compattazione integrata in Claude Code e Codex con un proxy locale. Compatta più spesso e conserva la cronologia completa in un database interrogabile sul disco. Su Terminal-Bench 2.1, secondo il progetto, questo ha risparmiato il 29% dei token di input, 84.300.000 contro 118.600.000.
Il numero di attività risolte si è mosso appena. Gobstopper ha risolto 61 attività su 89; Claude Code senza il proxy ne ha risolte 60. Il sito ammette che la differenza di due attività rientra nel rumore di una singola prova. Aggiunge anche che 21 delle 89 prove tail-0 potrebbero aver usato una build precedente. Il dato principale è quindi un conto in token, non un salto di capacità.
La distinzione conta per chi paga al token l'esecuzione di agenti di programmazione. Un taglio del 29% dei token di input è un taglio del 29% di quella voce di spesa. Conta anche per chi pensava che finestre di contesto più lunghe avrebbero chiuso la questione. Non è così. Un proxy deve comunque decidere cosa scartare. Secondo la stessa sezione sui limiti di Gobstopper, non può garantire che un fornitore riprenda una sessione copiata, né che un riassunto abbia conservato ogni fatto.
Il lato hardware dello stesso problema ha avuto un esame rigoroso in un articolo di Tejinder Singh di Dell Technologies, arXiv:2609.30854.
L'articolo è una sistematizzazione delle conoscenze, non un nuovo algoritmo. La tesi centrale è che la fase di decode è limitata dalla memoria, non dal calcolo. Con batch 1, i pesi BF16 hanno un'intensità aritmetica di 1 FLOP/B contro il punto di cresta dell'H100 a 295 FLOP/B. Oltre una certa lunghezza di contesto calcolabile, la cache KV supera i pesi come ciò che la GPU deve leggere a ogni passo. La soglia scende in modo iperbolico al crescere del batch. Llama-3-70B richiede 327.680 byte per token in BF16, secondo l'articolo. Una singola sequenza da 128.000 token aggiunge quindi 42 GB ai 140 GB di pesi, e una sequenza da un milione di token ne richiede 328 GB. Più di quanto contengano insieme quattro H100.
Cinque famiglie di soluzioni, tre regimi
L'articolo raggruppa le soluzioni alternative in un unico modello di ingombro: quantizzazione, espulsione dei token, paging, caching dei prefissi e tiering. Poi ricava lunghezze di incrocio e tetti di accelerazione su mappe roofline per H100, B200 e MI300X. Il punto è che risultati misurati con politiche di batching e layout di cache diversi non sono mai stati confrontabili. La stessa quantizzazione a 2 bit dà 1,25x con batch 1 e 4,82x con batch 32. Nelle parole dell'autore, l'algoritmo non è cambiato, è cambiato il regime.
Le modifiche all'architettura riducono la costante, non la curva. Passare dall'attenzione multi-head alla grouped-query o alla multi-head latent riduce il costo per token fino a 12x. La MLA di DeepSeek-V2 è la più bassa, a 0,07 MB per token. Ma ogni variante cresce comunque in modo lineare con la lunghezza del contesto.
Se questa lettura è corretta, la domanda pratica per chi compra non è chi ha la finestra più grande. È quale strato assorbe lo spreco. I fornitori possono far pagare i token, la larghezza di banda della memoria o un'espulsione intelligente. L'articolo suggerisce che tutte e cinque le famiglie di tecniche scalano fattori in gran parte ortogonali, quindi uno stack può combinarle.
L'archivio non è verificabile.
È più o meno l'argomento che Kevin Liao ha portato il 3 ottobre contro la categoria dei plugin di memoria. Il suo bersaglio è il database vettoriale che ingerisce le conversazioni passate. Poi inserisce i cinque frammenti più simili in ogni prompt. La somiglianza, scrive, non dice nulla su quale frammento sia corretto, aggiornato o mancante, e il codice cambia ogni giorno.
L'alternativa di Liao è la documentazione: file che una persona scrive e un agente legge, invece del richiamo sui trascritti. È un pezzo di opinione senza alcun benchmark alle spalle, e compete con fornitori che vendono l'opposto. Ma arriva alla stessa conclusione pratica dell'articolo e del proxy. La risorsa scarsa è il contesto curato, e ogni strato tra il modello e la verità costa token o larghezza di banda.
Nessuno dei tre stabilisce cosa debba conservare una sessione lunga.
Il 29% di Gobstopper viene da un solo modello, GLM 5.3 Flash. Ha usato una soglia di 45.000 token invece dei 128.000 predefiniti, su 89 attività e una prova per braccio. I punti di incrocio dell'articolo sono derivati, non misurati su ogni carico di lavoro. Il dibattito su dove risieda il contesto ora riguarda l'aritmetica, e l'aritmetica non è chiusa.
Fonti
8- 01Gobstopper: context compaction proxy for Claude Code and CodexEN
- 02The KV Cache Is the New Memory WallEN
- 03Agents Don't Need Memory. They Need Documentation.EN
- 04Memory safety for Postgres extensions in C/C++EN
- 05Memory-Safe WebP DecodingEN
- 06An Update on Orion for Linux and WindowsEN
- 07warply: Unofficial one-click Cloudflare WARP applicationEN
- 08Windows on Itanium also provided for hot-patchingEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.