Immer mehr Werkzeuge für das Gedächtnis von Agenten, doch LLMs erkennen Strukturen nicht von selbst

Die Arbeit heißt StructMemEval und wurde zuletzt am 1. Oktober überarbeitet. Alina Shutova, Alexandra Olenina, Ivan Vinogradov und Anton Sinitsin stellten sie am 11. Februar erstmals auf arXiv. Sie prüft, ob Agenten ihr Langzeitgedächtnis in Strukturen bringen, die Menschen täglich nutzen: Transaktionsbücher, To-do-Listen, Bäume.

Das Ergebnis ist eng umrissen, aber unangenehm für die Anbieter. Einfache Retrieval-Augmented-LLMs tun sich mit diesen Aufgaben schwer. Memory-Agenten lösen sie zuverlässig, aber nur, wenn man ihnen sagt, wie sie das Gespeicherte anordnen sollen. Ohne Vorgabe erkennen aktuelle Modelle die Struktur nicht immer.

Das betrifft jeden, der in diesem Quartal ein Agentenprodukt kauft. Das Verkaufsargument der unten genannten Werkzeuge lautet, ein besseres Gedächtnis bringe bessere Antworten. Der Benchmark legt nahe, dass der Gewinn von der Gerüststruktur abhängt und nicht allein von der Modellgröße. Er deutet auch auf den Unterschied zwischen Demo und Produktivbetrieb hin. Derselbe Agent kann organisiert oder vergesslich wirken, je nach Prompt, den niemand aufgeschrieben hat.

Repos, Spezifikationen und eine Pruning-Schicht kommen gemeinsam

Vectorize veröffentlicht Hindsight, ein Open-Source-Gedächtnissystem, das laut Anbieter auf Lernen statt auf Abrufen zielt. Das Repo beansprucht Spitzenwerte bei LongMemEval, einem Benchmark für Gesprächsgedächtnis. Forscher am Virginia Tech Sanghani Center und bei der Washington Post hätten die Zahlen reproduziert, heißt es. Die Werte anderer Anbieter in diesem Vergleich sind laut README selbst gemeldet.

Ein separates Projekt namens Agent Memory Repo veröffentlicht eine Spezifikation, um das Gedächtnis eines Agenten in einem eigenen Git-Repository zu speichern; der Link findet sich auf cognition.com. Erinnerungen sind Dateien und Ordner, die wie ein Wiki querverlinkt sind. Ein regelmäßiger Prozess, den die Autoren Dreaming nennen, fügt neue Einträge hinzu und führt Duplikate zusammen. Die Spezifikation deckt persönliches Gedächtnis, geteiltes Teamgedächtnis und Schwärme von Agenten ab, die auf dasselbe Repo schreiben, wo Git Konflikte bei Änderungen markiert.

Keines der beiden Projekte veröffentlicht unabhängige Kosten- oder Latenzzahlen für Produktivlasten.

Ein Entwickler hat außerdem OntoPrune veröffentlicht, eine Middleware, die Quellcode kürzt, bevor er ein Modell erreicht. Das README meldet 60 Prozent weniger Eingabe-Tokens bei modularen Projekten. Es meldet außerdem eine 6,7-fach schnellere Zeit bis zum ersten Token bei einem lokalen 7B-Coding-Modell auf einer AMD-Ryzen-CPU. In 24 Sandbox-Läufen meldet es 100 Prozent Bestehensquoten bei Unit-Tests. Das sind eigene Messungen des Autors, durchgeführt an drei Software-Archetypen.

OntoPrune behauptet, 100 Prozent der Weitergabe von proprietärem Code zu verhindern, indem es dem Modell nur typisierte Abhängigkeitsverträge zeigt. Die Behauptung stammt aus dem README des Projekts, nicht von einer dritten Seite.

Spill, ein weiteres Open-Source-Werkzeug, greift dasselbe Problem von der anderen Seite an. Es fängt Antworten von MCP-Werkzeugen ab, die größer als 32 KiB sind. Es legt sie in einer lokalen DuckDB-Tabelle ab und gibt dem Agenten einen kompakten Deskriptor plus SQL. Nutzlasten unter 32 KiB laufen laut Projekt unverändert durch. Abfragen laufen laut Projekt schreibgeschützt mit deaktiviertem externem Zugriff, und Ergebnisse sind auf 500 Zeilen begrenzt. Unterstützt werden Cursor, Codex und Claude Code.

Warum das Kürzen von Kontext zur Produktkategorie wird

Der gemeinsame Nenner: Kontextfenster gelten als Budget, nicht als kostenlose Ressource, egal wie groß sie sind. Spills Schwelle ist eine harte Zahl: 32 KiB. OntoPrunes Schlagzeile ist ein Prozentsatz: rund 60 Prozent weniger Eingabe-Tokens. Beide verwandeln eine technische Einschränkung in ein auslieferbares Werkzeug.

Für Käufer heißt das: Die Gedächtnisschicht wird zur Beschaffungsentscheidung mit mehreren inkompatiblen Formaten. Hindsight verkauft sich als System mit eigenen Modellen. Agent Memory Repo speichert einfache Dateien in Git. Spill hält Daten in einer lokalen Datenbankdatei unter ~/.spill/spill.duckdb. Wie man zwischen ihnen wechselt, ist nirgends öffentlich beschrieben.

Die Benchmark-Arbeit mahnt zur Vorsicht beim Messen. Sie argumentiert, die meisten Langzeitgedächtnis-Benchmarks konzentrieren sich auf einfaches Behalten von Fakten, Multi-Hop-Abruf und zeitliche Änderungen. Einfache Retrieval-Augmented-LLMs bewältigen das bereits. StructMemEval wurde gebaut, um etwas schwerer Messbares zu prüfen: ob der Agent die richtige Form für das gewählt hat, an das er sich erinnerte.

Keines der vier Projekte hat einen direkten Vergleich auf denselben Aufgaben veröffentlicht.

Die Hardware darunter wird teuer

Auch auf Silizium-Ebene ist Speicher die Einschränkung. The Next Platform berichtete am 2. Oktober, Microns Geschäftsjahr 2026, das am 3. September endete, habe einen Quartalsumsatz von 54.230.000.000 Dollar gebracht, 4,8-mal so viel wie im Vorjahr, bei einem Nettogewinn von 37.700.000.000 Dollar. Das DRAM-Geschäft wuchs um das 4,4-fache auf 39.770.000.000 Dollar.

Dieses Preisklima bestimmt, was sich Softwareteams leisten können. Die Lesart von The Next Platform: Speicherhersteller erhöhen die Kapazität bewusst nicht im Wettlauf, weil Knappheit die Preise hoch hält. Wenn das so bleibt, ist das Herausquetschen von Tokens aus einem Kontextfenster keine Optimierung mehr, sondern eine feste Kostenposition.

Volantis, ein Chip-Startup aus San Francisco, sammelte 88.000.000 Dollar in einer Series A ein, die Lachy Groom und Abstract Ventures gemeinsam anführten, meldete Tech Funding News am 2. Oktober. Das Unternehmen entwirft eine photonische Speicherschicht. Diese Schicht soll Modelle mit mehr als 20.000.000.000.000 Parametern bei bis zu 10.000 Tokens pro Sekunde und Nutzer unterstützen; erste integrierte Inferenz-Engines sollen 2027 kommen. Das sind Ziele, keine gemessenen Ergebnisse.

Das Argument des Startups: On-Chip-SRAM hat Bandbreite, aber wenig Kapazität. High-Bandwidth-Memory hat Kapazität, ist aber durch Bandbreite, Kosten und Leistung begrenzt. Volantis will mit einem optischen Fabric Speicher bündeln, sodass Kapazität und Bandbreite gemeinsam wachsen. Angestrebt sind Verbindungen unter einem Pikojoule pro Bit.

Zum Vergleich: Tech Funding News nennt für Lightmatter 400.000.000 Dollar bei einer Bewertung von 4.400.000.000 Dollar. Ayar Labs sammelte 500.000.000 Dollar bei 3.800.000.000 Dollar ein, beide für Arbeit an optischen Verbindungen.

Was weiterhin offen ist

Zwei Annahmen ziehen sich durch die Veröffentlichungen dieser Woche. Die erste: Agenten laufen lange genug, um dauerhaftes Gedächtnis zu brauchen. Die Spezifikation von Agent Memory Repo setzt das voraus, wenn sie Schwärme beschreibt, die in einen Speicher schreiben. Die zweite: Dem Gedächtnis kann man trauen. Hier wird die CPython-Diskussion relevant.

Auf dem Python Language Summit, über den der Python-Insider-Blog berichtete, beschrieb Hood Chatham, wie man den Speicher eines Interpreters nach der Initialisierung als Snapshot festhält, um wiederholte Startarbeit zu überspringen. Tests in Pyodide liefen mit einem Hello-World-Programm aus einem Snapshot etwa viermal schneller, 0,353 Sekunden gegen 1,406 Sekunden. Der Haken ist das Hash-Salt, das Python beim Start zufällig wählt, um Denial-of-Service-Angriffe zu blockieren. Stellt man einen Snapshot wieder her, wird diese Zufälligkeit festgeschrieben.

Chatham schlug eine ausdrückliche Initialisierungsphase vor, die erneut laufen könnte, um die Zufälligkeit wieder einzuführen. Eine Entscheidung ist nicht festgehalten.

Die Parallele ist nicht exakt, aber die Form des Problems ist dieselbe. Ein Gedächtnis, das bleibt, kann auch einen Fehler, eine veraltete Vorliebe oder einen durchgesickerten Wert bewahren. Hindsight, Agent Memory Repo, Spill und OntoPrune liefern alle Wege, Kontext zu speichern und zu kürzen. Keines liefert eine veröffentlichte Methode, um zu prüfen, was ein Agent zu behalten beschlossen hat.