Si moltiplicano gli strumenti per la memoria degli agenti: gli LLM non riconoscono la struttura senza istruzioni

Il paper si chiama StructMemEval ed è stato revisionato l'ultima volta il 1 ottobre. Alina Shutova, Alexandra Olenina, Ivan Vinogradov e Anton Sinitsin lo hanno pubblicato per la prima volta su arXiv l'11 febbraio. Verifica se gli agenti riescono a organizzare la memoria a lungo termine nelle strutture che le persone usano ogni giorno: registri delle transazioni, liste di cose da fare, alberi.

Il risultato è circoscritto ma scomodo per i fornitori. Gli LLM semplici con retrieval-augmented faticano su questi compiti. Gli agenti di memoria li risolvono in modo affidabile, ma solo se viene detto loro come disporre ciò che memorizzano. Senza istruzioni, i modelli attuali non sempre riconoscono la struttura.

La cosa riguarda chiunque acquisti un prodotto per agenti in questo trimestre. La promessa che accompagna gli strumenti elencati qui sotto è che una memoria migliore significhi risposte migliori. Il benchmark suggerisce che il guadagno dipende dall'impalcatura, non solo dalla scala del modello. Accenna anche al divario tra una demo e un deployment. Lo stesso agente può sembrare ordinato o smemorato a seconda di un prompt che nessuno ha messo per iscritto.

Repo, specifiche e un livello di pruning arrivano insieme

Vectorize pubblica Hindsight, un sistema di memoria open source che, secondo l'azienda, punta all'apprendimento più che al richiamo. Il repo dichiara risultati allo stato dell'arte su LongMemEval, un benchmark per la memoria conversazionale. Afferma che i ricercatori del Virginia Tech Sanghani Center e del Washington Post hanno riprodotto i numeri. I punteggi degli altri fornitori in quel confronto sono autodichiarati, si legge nel README.

Un progetto separato chiamato Agent Memory Repo pubblica una specifica per conservare la memoria degli agenti in un proprio repository git, collegata da cognition.com. Le memorie sono file e cartelle, collegate tra loro come in un wiki. Un processo periodico che gli autori chiamano Dreaming aggiunge nuove voci e unisce i duplicati. La specifica copre la memoria personale, la memoria condivisa di team e gli sciami di agenti che scrivono sullo stesso repo, dove git segnala le modifiche in conflitto.

Nessuno dei due progetti pubblica cifre indipendenti su costi o latenza per carichi di lavoro in produzione.

Uno sviluppatore ha anche rilasciato OntoPrune, un middleware che riduce il codice sorgente prima che raggiunga un modello. Il suo README riporta un taglio del 60 percento dei token in input su progetti modulari. Riporta anche un tempo al primo token 6,7 volte più veloce su un modello di coding 7B locale in esecuzione su una CPU AMD Ryzen. In 24 esecuzioni in sandbox riporta tassi di superamento del 100 percento sui test unitari. Sono misure dell'autore stesso, eseguite su tre archetipi software.

OntoPrune sostiene di prevenire il 100 percento delle fughe di codice proprietario esponendo al modello solo contratti di dipendenza tipizzati. L'affermazione viene dal README del progetto, non da una terza parte.

Spill, un altro strumento open source, attacca lo stesso problema dall'altro lato. Intercetta le risposte degli strumenti MCP più grandi di 32 KiB. Le conserva in una tabella DuckDB locale e consegna all'agente un descrittore compatto più SQL. Il progetto afferma che i payload sotto i 32 KiB passano invariati. Afferma che le query vengono eseguite in sola lettura con accesso esterno disabilitato e che i risultati sono limitati a 500 righe. Supporta Cursor, Codex e Claude Code.

Perché il taglio del contesto sta diventando una categoria di prodotto

Il filo comune è che le finestre di contesto, per quanto grandi, vengono trattate come un budget e non come una risorsa gratuita. La soglia di Spill è un numero netto: 32 KiB. Il titolo di OntoPrune è una percentuale: circa il 60 percento in meno di token in input. Entrambi trasformano un vincolo ingegneristico in uno strumento pronto per il mercato.

Per chi compra, questo significa che il livello di memoria sta diventando una decisione di approvvigionamento con diversi formati incompatibili. Hindsight si propone come un sistema con modelli propri. Agent Memory Repo conserva file semplici in git. Spill tiene i dati in un file di database locale in ~/.spill/spill.duckdb. Il passaggio da uno all'altro non è descritto in nessun luogo pubblico.

Il paper del benchmark aggiunge una cautela sulla misurazione. Sostiene che la maggior parte dei benchmark sulla memoria a lungo termine si concentra sulla semplice ritenzione dei fatti, sul richiamo multi-hop e sui cambiamenti legati al tempo. Gli LLM semplici con retrieval-augmented riescono già a gestirli. StructMemEval è stato costruito per testare qualcosa di più difficile da valutare: se l'agente ha scelto la forma giusta per ciò che ricordava.

Nessuno dei quattro progetti ha pubblicato un confronto diretto sugli stessi compiti.

L'hardware sotto costa sempre di più

La memoria è anche il vincolo a livello di silicio. The Next Platform ha riportato il 2 ottobre che l'anno fiscale 2026 di Micron, chiuso il 3 settembre, ha prodotto ricavi trimestrali di 54.230.000.000 di dollari, 4,8 volte in più rispetto all'anno precedente, con un utile netto di 37.700.000.000 di dollari. Il business DRAM è cresciuto di 4,4 volte fino a 39.770.000.000 di dollari.

Quel contesto sui prezzi determina ciò che i team software possono permettersi. La lettura di The Next Platform è che i produttori di memoria non corrano deliberatamente ad aumentare la capacità, perché le carenze mantengono alti i prezzi. Se regge, spremere token da una finestra di contesto smette di essere un'ottimizzazione e diventa una voce di bilancio.

Volantis, una startup di chip di San Francisco, ha raccolto 88.000.000 di dollari in un Serie A co-guidato da Lachy Groom e Abstract Ventures, ha riportato Tech Funding News il 2 ottobre. Sta progettando un livello di memoria fotonico. Afferma che il livello supporterà modelli sopra i 20.000.000.000.000 di parametri fino a 10.000 token al secondo per utente, con i primi motori di inferenza integrati previsti nel 2027. Sono obiettivi, non risultati misurati.

L'argomento della startup è che la SRAM on-chip ha banda ma poca capacità. La memoria ad alta larghezza di banda ha capacità ma è limitata da banda, costo e potenza. Volantis afferma che la sua struttura ottica mette in comune la memoria in modo che capacità e banda crescano insieme. Punta a collegamenti sotto un picojoule per bit.

Per confronto, Tech Funding News nota che Lightmatter ha raccolto 400.000.000 di dollari con una valutazione di 4.400.000.000 di dollari. Ayar Labs ha raccolto 500.000.000 di dollari con 3.800.000.000 di dollari, entrambe per lavori sull'interconnessione ottica.

Cosa resta ancora irrisolto

Due presupposti attraversano le uscite della settimana. Il primo è che gli agenti continueranno a funzionare abbastanza a lungo da aver bisogno di memoria persistente. La specifica di Agent Memory Repo lo dà per scontato quando descrive sciami che scrivono su un unico archivio. Il secondo è che ci si possa fidare della memoria, ed è qui che diventa rilevante la discussione su CPython.

Al Python Language Summit, seguito dal blog Python Insider, Hood Chatham ha descritto lo snapshotting della memoria di un interprete dopo l'inizializzazione per saltare il lavoro di avvio ripetuto. I test in Pyodide hanno eseguito un programma hello-world circa quattro volte più velocemente da uno snapshot, 0,353 secondi contro 1,406 secondi. Il problema è il sale hash che Python randomizza all'avvio per bloccare gli attacchi denial-of-service. Ripristina uno snapshot e quella casualità diventa fissa.

Chatham ha proposto una fase di inizializzazione esplicita che potrebbe essere rieseguita per reintrodurre la casualità. Non è registrata alcuna decisione.

Il parallelo non è esatto, ma la forma del problema è la stessa. Una memoria che persiste è una memoria che può far persistere un errore, una preferenza obsoleta o un valore trapelato. Hindsight, Agent Memory Repo, Spill e OntoPrune offrono tutti modi per conservare e ridurre il contesto. Nessuno di loro fornisce un metodo pubblicato per verificare cosa un agente ha scelto di tenere.