Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

KI-Gedächtnis-Plugins lösen das falsche Problem, sagen Entwickler, während neue Werkzeuge kommen

Ein Proxy, der Sitzungen von Claude Code und Codex komprimiert, verbrauchte 29% weniger Eingabe-Token als der eingebaute Kompaktierungsschritt und löste 61 von 89 Aufgaben aus Terminal-Bench 2.1, sagen seine Entwickler. Das ist das jüngste Zeichen dafür, dass der Streit um den KI-Kontext von größeren Fenstern zu besserer Buchführung wandert.

KI & ModelleErklärtLena BrandtVeröffentlicht: 3. Oktober 20264 Min. LesezeitQuellen 9
KI-Gedächtnis-Plugins lösen das falsche Problem, sagen Entwickler, während neue Werkzeuge kommen

Gobstopper, ein Kompaktierungs-Proxy für Claude Code und Codex, veröffentlichte am 27. und 28. September Benchmark-Ergebnisse. Mit dem Proxy wurden 61 von 89 Aufgaben gelöst, ohne ihn 60, bei 84.300.000 Eingabe-Token gegenüber 118.600.000.

Die Projektseite selbst nennt für den Lauf eine Schwelle von 45.000 Token statt der 128.000 Standard, einen Versuch pro Variante, mit GLM 5.3 Flash. Dieselbe Seite räumt ein, dass der Abstand von zwei Aufgaben im Bereich des Rauschens eines einzelnen Versuchs liegt und dass 21 der 89 Tail-0-Versuche möglicherweise mit einem früheren Build liefen. Diese Ehrlichkeit ist seltener als die Geschwindigkeitsbehauptung.

Die Prämisse hinter solchen Werkzeugen lautet: Kontextfenster sind nicht der Engpass. Das Gedächtnis ist es. Eine wachsende Gruppe von Praktikern argumentiert, die Branche habe zwei Jahre lang die falsche Hälfte dieses Problems gelöst. Deshalb liest sich eine Benchmark-Seite mit einem Absatz voller Einschränkungen inzwischen interessanter als ein Launch-Post.

Was die Gedächtnis-Plugins tatsächlich tun

Kevin Liao beschreibt in einem Text vom 3. Oktober die übliche Architektur eines Agenten-Gedächtnis-Plugins. Gespräche werden in Schnipsel zerlegt, die Schnipsel landen in einer Vektordatenbank, und bei jedem Prompt werden die fünf ähnlichsten angehängt. Wirkt der Agent verwirrt, bekommt er ein Suchwerkzeug, um weiter zu graben.

Liao nennt fünf Schwächen dieses Entwurfs: Die Ähnlichkeitssuche kann nicht sagen, welcher Schnipsel richtig oder aktuell ist, die Schnipsel verlieren ihren Kontext, die Vergangenheit gilt als Wahrheit, auch wenn sich die Codebasis ändert, Agenten können nicht nach dem suchen, von dessen Fehlen sie nichts wissen, und ein Speicher mit 10.000 Embeddings lässt sich nicht prüfen. Sein Fazit ist deutlich. Menschen schreiben Dinge auf, statt dreijährige Meetings erneut anzusehen, argumentiert er, und Agenten sollten genauso arbeiten.

Die Lösung besteht NICHT darin, einem Agenten ein Suchwerkzeug zu geben, mit dem er die vergangenen 10.000.000 Token an Gesprächen durchsucht.

„Das gesamte Ökosystem der Gedächtnis-Plugins löst das falsche Problem“, schreibt er. Das ist ein Meinungsbeitrag, keine Messung. Er steht aber neben härteren Belegen dafür, dass der Umgang mit Kontext ein Systemproblem ist und kein Abrufproblem.

Die Hardware-Seite desselben Arguments

Ein Systematization-of-Knowledge-Paper, arXiv:260.930.854, von Tejinder Singh bei Dell Technologies legt dar, dass langes Dekodieren durch die Speicherbandbreite begrenzt wird und nicht durch Rechenleistung. Wie am 3. Oktober auf jaehun.me zusammengefasst, leitet das Paper einen Kipppunkt her, an dem die KV-Cache-Bytes pro Schritt die Bytes der Modellgewichte übersteigen. Diese Schwelle fällt hyperbolisch, je größer die Batch-Größe wird.

Die Zahlen sind konkret. Llama-3-70B in BF16 braucht 140 GB an Gewichten, mehr als die 80 GB HBM einer H100. Sein KV-Cache kommt auf 42 GB für eine einzelne Sequenz mit 128.000 Token und auf 328 GB bei einer Million Token. Das ist mehr, als vier H100 zusammen fassen.

Das Paper hält außerdem fest, dass dieselbe 2-Bit-Quantisierung 1,25-fach bei Batch 1 und 4,82-fach bei Batch 32 bringt, weil sich das Regime geändert hat und nicht der Algorithmus. Gobstoppers 29% weniger Token und die Kippkurven des Papers erzählen dieselbe Geschichte auf verschiedenen Ebenen des Stacks.

Postgres und die Kosten eines falschen Gedächtnisses

Speichersicherheit ist die ältere, wörtlichere Version dieser Debatte. Der ClickHouse-Ingenieur Philip Dubé schrieb am 30. September darüber, C++ in Postgres-Erweiterungen zu bringen. Dort alloziert Postgres über palloc und MemoryContext-Arenen und behandelt Fehler mit setjmp/longjmp. C++-Destruktoren überstehen diesen Sprung nicht, und eine nicht abgefangene Ausnahme kann den Postmaster zwingen, alles neu zu starten, falls der gemeinsame Speicher beschädigt wurde.

Die Antwort von ClickHouse für pg_clickhouse bestand darin, C++ ganz zu entfernen und clickhouse-cpp durch eine neue C-Bibliothek zu ersetzen. pg_re2 hält C++ auf eine einzige Wrapper-Datei beschränkt. pg_chdb verlagerte libchdb in ein separates Hilfsprogramm.

Dasselbe Muster zeigt sich beim Dekodieren von Bildern. wpd aus dem Halide-Team, ein WebP-Decoder in Rust mit handgeschriebenem SIMD, entstand als Reaktion auf CVE-2023-4863. CISA bestätigte, dass die Lücke in freier Wildbahn ausgenutzt wurde, und sie betraf Chrome, Firefox, Signal und Microsoft Teams. Das Team zitiert die Zahl von Chromium selbst, wonach rund 70% der schwerwiegenden Sicherheitsfehler aus Problemen mit der Speichersicherheit stammen.

Kleinere Meldungen, dieselbe Richtung

Ansonsten blieben die Veröffentlichungen der Woche ruhiger. Kagi teilte am 3. Oktober mit, die Entwicklung von Orion für Linux und Windows einzustellen und beide offenzulegen. Die Linux-Beta erhält nach dem 2. Oktober 2026 keine Kagi-Updates mehr, der für Ende 2026 geplante Windows-Start ist gestrichen.

Ein Entwickler veröffentlichte Warply, einen inoffiziellen Cloudflare-WARP-Client mit einem Knopf für Windows 10 und 11, der seinen WireGuard-Schlüssel mit Windows DPAPI speichert. Microsofts Blog Old New Thing brachte am 1. Oktober einen Beitrag über Hot-Patching unter Windows on Itanium. LiberNT, ein ReactOS-Fork für ARM64 und Windows 11, war am 3. Oktober nicht erreichbar, weil seine Anubis-Proof-of-Work-Aufgabe nicht lud.

Nichts davon entscheidet, ob Agenten Gedächtnis oder Dokumentation brauchen. Die Beweislast hat sich aber verschoben. Wer jetzt eine Gedächtnisschicht ausliefert, muss zeigen, dass sie eine gut gepflegte Datei schlägt, und die ersten ernsthaften Benchmarks treffen gerade erst ein.

Kommentare 0

Quellen

9
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02Agents don't need memory, they need documentationEN
  3. 03The KV Cache Is the New Memory WallEN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07Warply: unofficial one-button Cloudflare WARP app for WindowsEN
  8. 08Windows on Itanium also provided for hot-patchingEN
  9. 09LiberNT: fork of ReactOS focused on ARM64 and Windows 11EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.