Memory-Plugins sind der falsche Ansatz für langen KI-Kontext, argumentieren ein neues Paper und zwei Proxys
Werkzeuge für KI-Agenten behandeln das Problem des Kontextfensters als Gedächtnisproblem. Ein Compaction-Proxy namens Gobstopper will 29 % weniger Input-Tokens verbrauchen als der eingebaute Schritt von Claude Code. Ein Paper vom September argumentiert, der eigentliche Engpass sei die Hardware, nicht das Erinnern.

Der Werbespruch für Gobstopper ist eng und numerisch. Er ersetzt die in Claude Code und Codex eingebaute Compaction durch einen lokalen Proxy. Er komprimiert häufiger und bewahrt die vollständige Historie in einer durchsuchbaren Datenbank auf der eigenen Festplatte. Auf Terminal-Bench 2.1, so heißt es beim Projekt, sparte das 29 % der Input-Tokens, 84.300.000 gegen 118.600.000.
Die Zahl der gelösten Aufgaben bewegte sich kaum. Gobstopper löste 61 von 89 Aufgaben, Claude Code ohne den Proxy löste 60. Die Website räumt ein, dass der Unterschied von zwei Aufgaben im Rauschen einer einzelnen Messung liegt. Sie schreibt auch, dass 21 der 89 Tail-0-Versuche möglicherweise mit einem früheren Build liefen. Die Schlagzeile ist also eine Token-Rechnung, kein Sprung bei den Fähigkeiten.
Für alle, die pro Token für Coding-Agenten zahlen, zählt dieser Unterschied. 29 % weniger Input-Tokens sind 29 % weniger in diesem Teil der Rechnung. Er zählt auch für alle, die annahmen, längere Kontextfenster würden das Problem beenden. Das tun sie nicht. Ein Proxy muss weiterhin entscheiden, was er wegwirft. Laut dem eigenen Abschnitt zu den Grenzen kann Gobstopper nicht versprechen, dass ein Anbieter eine kopierte Sitzung fortsetzt oder dass eine Zusammenfassung jeden Fakt bewahrt hat.
Die Hardwareseite desselben Problems wurde in einem Paper von Tejinder Singh von Dell Technologies gründlich behandelt, arXiv:2609.30854.
Das Paper ist eine Systematisierung des Wissens, kein neuer Algorithmus. Seine zentrale Aussage: Das Dekodieren ist speichergebunden, nicht rechengebunden. Bei Batch 1 haben BF16-Gewichte eine arithmetische Intensität von 1 FLOP/B, der Ridge-Point der H100 liegt bei 295 FLOP/B. Ab einer berechenbaren Kontextlänge überholt der KV-Cache die Gewichte als das, was die GPU bei jedem Schritt lesen muss. Die Schwelle sinkt hyperbolisch mit steigender Batch-Größe. Llama-3-70B braucht laut Paper 327.680 Bytes pro Token in BF16. Eine einzelne Sequenz mit 128.000 Tokens fügt damit 42 GB auf 140 GB Gewichte hinzu, und eine Sequenz mit einer Million Tokens braucht 328 GB. Das ist mehr, als vier H100 zusammen fassen.
Fünf Familien von Abhilfen, drei Regime
Das Paper ordnet die Workarounds in ein Footprint-Modell: Quantisierung, Token-Eviction, Paging, Prefix-Caching und Tiering. Dann leitet es Crossover-Längen und Obergrenzen für den Speedup auf Roofline-Karten für die H100, B200 und MI300X ab. Der Punkt ist, dass Ergebnisse, die unter verschiedenen Batching-Strategien und Cache-Layouts gemessen wurden, nie vergleichbar waren. Dieselbe 2-Bit-Quantisierung bringt 1,25x bei Batch 1 und 4,82x bei Batch 32. In der Formulierung des Autors änderte sich nicht der Algorithmus, sondern das Regime.
Architekturänderungen verkleinern die Konstante, nicht die Kurve. Der Wechsel von Multi-Head zu Grouped-Query- oder Multi-Head-Latent-Attention senkt die Kosten pro Token um bis zu 12x. Die MLA von DeepSeek-V2 liegt mit 0,07 MB pro Token am niedrigsten. Aber jede Variante wächst weiterhin linear mit der Kontextlänge.
Wenn diese Einordnung stimmt, lautet die praktische Frage für Käufer nicht, wer das größte Fenster hat. Sie lautet, welche Schicht die Verschwendung aufnimmt. Anbieter können Tokens abrechnen, Speicherbandbreite oder geschickte Eviction. Das Paper legt nahe, dass alle fünf Technikfamilien Skalierungsfaktoren beeinflussen, die weitgehend orthogonal sind, sodass ein Stack sie kombinieren kann.
Der Speicher ist nicht auditierbar.
Das ist ungefähr das Argument, das Kevin Liao am 3. Oktober gegen die Kategorie der Memory-Plugins vorbrachte. Sein Ziel ist die Vektordatenbank, die vergangene Gespräche aufnimmt. Sie spritzt dann die fünf ähnlichsten Schnipsel in jeden Prompt. Ähnlichkeit, schreibt er, sagt nichts darüber, welcher Schnipsel korrekt, aktuell oder fehlend ist, und die Codebasis ändert sich täglich.
Liaos Alternative ist Dokumentation: Dateien, die ein Mensch schreibt und ein Agent liest, statt Recall über Transkripte. Es ist ein Meinungsbeitrag ohne Benchmark dahinter, und er konkurriert mit Anbietern, die das Gegenteil verkaufen. Aber er landet auf derselben praktischen Note wie das Paper und der Proxy. Die knappe Ressource ist kuratierter Kontext, und jede Schicht zwischen dem Modell und der Wahrheit kostet Tokens oder Bandbreite.
Keine der drei Antworten klärt, was eine lange Sitzung behalten sollte.
Gobstoppers 29 % stammen von einem Modell, GLM 5.3 Flash. Es nutzte eine Schwelle von 45.000 Tokens statt der 128.000 als Standard, über 89 Aufgaben und einen Versuch pro Arm. Die Crossover-Punkte des Papers sind hergeleitet, nicht auf jeder Arbeitslast gemessen. Die Debatte darüber, wo Kontext lebt, dreht sich inzwischen um Arithmetik, und die Arithmetik ist nicht geklärt.
Quellen
8- 01Gobstopper: context compaction proxy for Claude Code and CodexEN
- 02The KV Cache Is the New Memory WallEN
- 03Agents Don't Need Memory. They Need Documentation.EN
- 04Memory safety for Postgres extensions in C/C++EN
- 05Memory-Safe WebP DecodingEN
- 06An Update on Orion for Linux and WindowsEN
- 07warply: Unofficial one-click Cloudflare WARP applicationEN
- 08Windows on Itanium also provided for hot-patchingEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.