DeepSeek V4 Flash costa 14,9 volte meno con la cache calda, secondo un benchmark su 14 provider
Inviare due volte lo stesso prompt a DeepSeek V4 Flash può ridurre il costo della richiesta di 14,9 volte, secondo un benchmark di serving pubblicato da inference.academy il 7 settembre. Il benchmark ha instradato il modello su 14 provider.

Il benchmark ha misurato un solo assetto controllato: obiettivi di 1.000, 10.000 e 100.000 token di input, ciascuno abbinato a un budget di 100 o 1.000 token di output, temperatura 0 e reasoning disattivato. Le richieste a freddo portavano un prefisso unico. Quelle a caldo ripetevano lo stesso prompt. Il sito precisa che si tratta di misurazioni di serving, non di punteggi sulla qualità dei compiti.
Nello studio il costo non è il prezzo di listino dei token di input. È il totale degli addebiti per richiesta diviso per i token di input e moltiplicato per un milione, quindi anche gli addebiti di output rientrano nel conto. Nel campione, le richieste di DeepSeek V4 Flash con 100.000 token di input e un budget di 100 token di output sono costate 14,9 volte meno a caldo che a freddo.
L'instradamento non è stabile tra una chiamata e l'altra
Il benchmark ha registrato anche quali nomi upstream OpenRouter restituiva per ogni forma di richiesta. Quei nomi cambiano con la condizione di cache. Per le chiamate a freddo con 1.000 token di input e 100 di output la lista era guidata da Baidu con 18 chiamate, Relace con 14 e AkashML con 13. La stessa forma a caldo era guidata da Relace con 24, CoreWeave con 16 e DeepSeek con 11.
Con 100.000 token di input e un budget di 100 token di output, le richieste a freddo sono andate per lo più a Baidu (7), DigitalOcean (3), Relace (3) e Wafer (3). Le richieste a caldo della stessa forma sono andate a Relace (14), Together (6) e CoreWeave (5). Gli autori avvertono che l'ampiezza dei segmenti indica solo la quota di chiamate. Notano anche che i nomi sono upstream dichiarati e non macchine verificate, e che questa distribuzione da sola non spiega perché l'instradamento sia cambiato.
Sulla velocità, Telnyx ha guidato la velocità mediana di generazione in tutte e 12 le condizioni. La latenza del primo token dipendeva dalla forma della richiesta, non da un unico vincitore. Il sito definisce il time to first token come il tempo dall'avvio della richiesta al primo delta di contenuto o di reasoning ricevuto dal client, compresi rete e coda. La velocità di decodifica è il numero di token di completamento riportati diviso per il tempo trascorso dal primo all'ultimo delta di output. Le risposte non in streaming non producono alcuna misura di velocità di decodifica.
I tempi includono solo le chiamate riuscite.
Quota di cache e tassi di errore
Lo studio riporta la quota di cache come la somma dei token di input in cache divisa per la somma dei token di input dei successi che riportavano entrambi i valori. L'ha misurata su prompt ripetuti da 10.000 token con un budget di output di 100 token. È una quota di token, non la percentuale di richieste che hanno trovato una cache, e la sequenza a caldo comprende la sua richiesta iniziale.
I tassi di errore sono suddivisi per obiettivo di input, budget di output e condizione di cache. Gli autori notano che una rotta può comportarsi diversamente quando lo stesso prompt chiede una risposta più lunga. Il tasso di errore è il numero di chiamate fallite diviso per le chiamate misurate in quella condizione, contando errori HTTP, di trasporto e di risposta. I conteggi esatti e gli intervalli descrittivi stanno nelle tabelle sotto i grafici, e i record grezzi sono scaricabili. Uno zero dichiarato significa che nel campione non è stato osservato alcun errore. Il benchmark segna i campi non misurati come non riportati, non come zero.
Per chi compra, la lettura pratica è ristretta. Il divario tra freddo e caldo è abbastanza ampio perché il riuso del prompt, e non solo la scelta del provider, possa dominare la fattura per carichi di lavoro ripetuti. Ma gli stessi numeri mostrano che un prompt ripetuto può finire su un upstream diverso. Questo cambia se uno sconto di cache si applichi o meno.
Fonti
1Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.