890 byte per token: come DeepSeek comprime la KV Cache

Quando un modello elabora documenti lunghi deve conservare la Key e la Value dell'attenzione per ogni token del contesto. Questo risultato intermedio è la KV Cache. Cresce in modo lineare con la lunghezza del contesto e determina quante sessioni lunghe possono girare insieme su una singola scheda. È anche il motivo per cui il costo dei contesti lunghi si ferma sulla memoria e non sui pesi.

Quanto spazio occupa la KV Cache si può calcolare con un modello pubblico. Secondo la configurazione pubblica di Qwen3-8B, in BF16 o FP16, con 2 byte per valore, ogni token corrisponde a 147456 byte di dati KV, circa 147KB. Il calcolo è 2 copie K/V per 36 layer per 8 teste KV per 128 dimensioni per testa per 2 byte. Non sono ancora inclusi costi aggiuntivi come la gestione della cache.

DeepSeek su V4.1 Flash ha lavorato sulla compressione. Il confronto ufficiale è questo: rispetto alla generazione precedente il fabbisogno di HBM scende a un quarto e quello di SSD a un ottavo; rispetto al modello di prima generazione la KV Cache è già 437 volte più piccola. Incrociando i dati ufficiali con diverse descrizioni, la KV Cache di V4.1 Flash è di circa 890 byte per token.

Perché fissare questo numero? Perché il costo degli hit in cache pesa molto nei task di tipo Agent. Un task di coding agent rilegge codice, cerca materiale e lancia test, e la storia si accumula. Quando la memoria video non basta, il sistema cancella parte della cache. Al giro successivo deve rifare la Prefill, e il tempo che l'utente aspetta per il primo token si allunga.

La via d'uscita ingegneristica è la stratificazione. I dati in fase di generazione restano in HBM, quelli che potrebbero essere riusati a breve finiscono nella DDR lato CPU, quelli non toccati da più tempo scendono su SSD o su storage remoto. Il KV Offloading di vLLM, per esempio, supporta lo scarico dei blocchi di cache nella memoria della CPU e la configurazione di un livello di storage secondario. Il recupero passa attraverso il livello di cache lato CPU.

Quindi 890 byte non è solo un numero. Significa che la stessa memoria video può reggere più sessioni lunghe in parallelo, e significa anche che i team che gestiscono servizi di inferenza in proprio comprano meno schede. Per chi si occupa di acquisti e operations, la dimensione della KV Cache è ormai importante quanto l'efficacia del modello e merita di entrare nella lista dei criteri di scelta.