Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I plugin di memoria per l'AI risolvono il problema sbagliato, dicono gli sviluppatori mentre arrivano nuovi strumenti

Un proxy che comprime le sessioni di Claude Code e Codex ha usato il 29% in meno di token di input rispetto alla compattazione integrata, secondo i suoi sviluppatori. Ha risolto 61 delle 89 attività di Terminal-Bench 2.1.

IA e modelliSpiegatoChiara RomanoPubblicato: 3 ottobre 20264 min di letturaFonti 9
I plugin di memoria per l'AI risolvono il problema sbagliato, dicono gli sviluppatori mentre arrivano nuovi strumenti

Gobstopper, un proxy di compattazione per Claude Code e Codex, ha pubblicato i risultati dei benchmark il 27 e 28 settembre. Con il proxy ha risolto 61 attività su 89, contro 60 senza, consumando 84.300.000 token di input contro 118.600.000.

Il sito del progetto fissa la prova a una soglia di 45.000 token invece dei 128.000 predefiniti, con una sola esecuzione per braccio e GLM 5.3 Flash. La stessa pagina ammette che il divario di due attività rientra nel rumore di una singola esecuzione. Aggiunge anche che 21 delle 89 prove tail-0 potrebbero aver girato su una build precedente. Questa onestà è più rara della promessa di velocità.

Strumenti come questo poggiano su una premessa: le finestre di contesto non sono il collo di bottiglia. Lo è la memoria. Un gruppo crescente di professionisti sostiene che l'industria ha passato due anni a risolvere la metà sbagliata del problema. Per questo una pagina di benchmark con un paragrafo di avvertenze oggi si legge come più interessante di un post di lancio.

Cosa fanno davvero i plugin di memoria

Kevin Liao, in un articolo del 3 ottobre, descrive l'architettura standard di un plugin di memoria per agenti. Le conversazioni vengono spezzate in frammenti, i frammenti finiscono in un database vettoriale e a ogni prompt vengono allegati i cinque più simili. Se l'agente sembra confuso, gli si dà uno strumento di ricerca per scavare più a fondo.

Liao elenca cinque difetti di quel progetto. La ricerca per similarità non sa dire quale frammento sia corretto o attuale. I frammenti perdono il contesto che li circonda. Il passato viene trattato come verità anche mentre il codice cambia. Gli agenti non possono cercare ciò che non sanno di non avere. E un archivio di 10.000 embedding non è verificabile. La sua conclusione è netta. Le persone scrivono le cose invece di rivedere riunioni di tre anni prima, sostiene, e gli agenti dovrebbero fare lo stesso.

La soluzione NON è dare a un agente uno strumento di ricerca che usa per cercare tra gli ultimi 10.000.000 di token di conversazioni.

"L'intero ecosistema dei plugin di memoria sta risolvendo il problema sbagliato", scrive. È un pezzo di opinione, non una misurazione. Ma arriva accanto a prove più solide che la gestione del contesto è un problema di sistemi, non di recupero.

Il lato hardware dello stesso argomento

Un articolo di Systematization of Knowledge, arXiv:2609.30854, di Tejinder Singh di Dell Technologies, sostiene che la decodifica a contesto lungo è limitata dalla larghezza di banda della memoria più che dall'aritmetica. Come riassunto su jaehun.me il 3 ottobre, l'articolo ricava un punto di incrocio in cui i byte di KV cache per passo superano i byte dei pesi del modello. Quella soglia cala in modo iperbolico al crescere della dimensione del batch.

I numeri sono concreti. Llama-3-70B in BF16 richiede 140 GB di pesi, più degli 80 GB di HBM su una H100. La sua KV cache aggiunge 42 GB per una singola sequenza da 128.000 token e 328 GB a un milione di token, più di quanto tengano in totale quattro H100.

L'articolo nota anche che la stessa quantizzazione a 2 bit rende 1,25x con batch 1 e 4,82x con batch 32. È cambiato il regime, non l'algoritmo. Il taglio del 29% nei token di Gobstopper e le curve di incrocio dell'articolo sono la stessa storia raccontata a livelli diversi dello stack.

Postgres e il costo di sbagliare la memoria

La sicurezza della memoria è la versione più antica e più letterale di questo dibattito. L'ingegnere di ClickHouse Philip Dubé ha scritto il 30 settembre dell'introduzione di C++ nelle estensioni di Postgres. Lì Postgres alloca tramite palloc e le arene MemoryContext e gestisce i fallimenti con setjmp/longjmp. I distruttori di C++ non sopravvivono a quel salto. Un'eccezione non catturata può costringere il postmaster a riavviare tutto nel caso la memoria condivisa sia stata corrotta.

La risposta di ClickHouse per pg_clickhouse è stata eliminare del tutto il C++, sostituendo clickhouse-cpp con una nuova libreria C. pg_re2 tiene il C++ confinato a un solo file wrapper. pg_chdb ha spostato libchdb in un eseguibile helper separato.

Lo stesso schema compare nella decodifica delle immagini. wpd del team Halide, un decoder WebP in Rust con SIMD scritto a mano, è nato in risposta a CVE-2023-4863. CISA ha confermato che quella vulnerabilità è stata sfruttata in natura, e ha colpito Chrome, Firefox, Signal e Microsoft Teams. Il team cita la cifra di Chromium stesso, secondo cui circa il 70% dei suoi bug di sicurezza ad alta gravità deriva da problemi di sicurezza della memoria.

Voci più piccole, stessa direzione

Altrove le uscite della settimana sono state più tranquille. Kagi ha annunciato il 3 ottobre che chiude lo sviluppo di Orion per Linux e Windows e rende open source entrambi. La beta per Linux non riceve più aggiornamenti Kagi dopo il 2 ottobre 2026, e il previsto lancio di Windows a fine 2026 è annullato.

Uno sviluppatore ha pubblicato Warply, un client non ufficiale di Cloudflare WARP a un solo pulsante per Windows 10 e 11 che conserva la chiave WireGuard con Windows DPAPI. Il blog Old New Thing di Microsoft ha pubblicato il 1 ottobre un post sull'hot-patching sotto Windows su Itanium. LiberNT, un fork di ReactOS pensato per ARM64 e Windows 11, era irraggiungibile il 3 ottobre perché la sua sfida proof-of-work Anubis non si caricava.

Nessuno di questi casi decide se gli agenti abbiano bisogno di memoria o di documentazione. Ma l'onere della prova si è spostato. Chiunque oggi rilasci uno strato di memoria deve dimostrare che batte un file tenuto bene, e i primi benchmark seri stanno appena arrivando.

Commenti 0

Fonti

9
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02Agents don't need memory, they need documentationEN
  3. 03The KV Cache Is the New Memory WallEN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07Warply: unofficial one-button Cloudflare WARP app for WindowsEN
  8. 08Windows on Itanium also provided for hot-patchingEN
  9. 09LiberNT: fork of ReactOS focused on ARM64 and Windows 11EN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.