Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

DeepSeek V4 Flash costa 14,9 volte meno con la cache calda, secondo un benchmark su 14 provider

Inviare due volte lo stesso prompt a DeepSeek V4 Flash può ridurre il costo della richiesta di 14,9 volte, secondo un benchmark di serving pubblicato da inference.academy il 7 settembre. Il benchmark ha instradato il modello su 14 provider.

IA e modelliNotiziaGiulia FerrariPubblicato: 28 settembre 20263 min di letturaFonti 1
DeepSeek V4 Flash costa 14,9 volte meno con la cache calda, secondo un benchmark su 14 provider

Il benchmark ha misurato un solo assetto controllato: obiettivi di 1.000, 10.000 e 100.000 token di input, ciascuno abbinato a un budget di 100 o 1.000 token di output, temperatura 0 e reasoning disattivato. Le richieste a freddo portavano un prefisso unico. Quelle a caldo ripetevano lo stesso prompt. Il sito precisa che si tratta di misurazioni di serving, non di punteggi sulla qualità dei compiti.

Nello studio il costo non è il prezzo di listino dei token di input. È il totale degli addebiti per richiesta diviso per i token di input e moltiplicato per un milione, quindi anche gli addebiti di output rientrano nel conto. Nel campione, le richieste di DeepSeek V4 Flash con 100.000 token di input e un budget di 100 token di output sono costate 14,9 volte meno a caldo che a freddo.

L'instradamento non è stabile tra una chiamata e l'altra

Il benchmark ha registrato anche quali nomi upstream OpenRouter restituiva per ogni forma di richiesta. Quei nomi cambiano con la condizione di cache. Per le chiamate a freddo con 1.000 token di input e 100 di output la lista era guidata da Baidu con 18 chiamate, Relace con 14 e AkashML con 13. La stessa forma a caldo era guidata da Relace con 24, CoreWeave con 16 e DeepSeek con 11.

Con 100.000 token di input e un budget di 100 token di output, le richieste a freddo sono andate per lo più a Baidu (7), DigitalOcean (3), Relace (3) e Wafer (3). Le richieste a caldo della stessa forma sono andate a Relace (14), Together (6) e CoreWeave (5). Gli autori avvertono che l'ampiezza dei segmenti indica solo la quota di chiamate. Notano anche che i nomi sono upstream dichiarati e non macchine verificate, e che questa distribuzione da sola non spiega perché l'instradamento sia cambiato.

Sulla velocità, Telnyx ha guidato la velocità mediana di generazione in tutte e 12 le condizioni. La latenza del primo token dipendeva dalla forma della richiesta, non da un unico vincitore. Il sito definisce il time to first token come il tempo dall'avvio della richiesta al primo delta di contenuto o di reasoning ricevuto dal client, compresi rete e coda. La velocità di decodifica è il numero di token di completamento riportati diviso per il tempo trascorso dal primo all'ultimo delta di output. Le risposte non in streaming non producono alcuna misura di velocità di decodifica.

I tempi includono solo le chiamate riuscite.

Quota di cache e tassi di errore

Lo studio riporta la quota di cache come la somma dei token di input in cache divisa per la somma dei token di input dei successi che riportavano entrambi i valori. L'ha misurata su prompt ripetuti da 10.000 token con un budget di output di 100 token. È una quota di token, non la percentuale di richieste che hanno trovato una cache, e la sequenza a caldo comprende la sua richiesta iniziale.

I tassi di errore sono suddivisi per obiettivo di input, budget di output e condizione di cache. Gli autori notano che una rotta può comportarsi diversamente quando lo stesso prompt chiede una risposta più lunga. Il tasso di errore è il numero di chiamate fallite diviso per le chiamate misurate in quella condizione, contando errori HTTP, di trasporto e di risposta. I conteggi esatti e gli intervalli descrittivi stanno nelle tabelle sotto i grafici, e i record grezzi sono scaricabili. Uno zero dichiarato significa che nel campione non è stato osservato alcun errore. Il benchmark segna i campi non misurati come non riportati, non come zero.

Per chi compra, la lettura pratica è ristretta. Il divario tra freddo e caldo è abbastanza ampio perché il riuso del prompt, e non solo la scelta del provider, possa dominare la fattura per carichi di lavoro ripetuti. Ma gli stessi numeri mostrano che un prompt ripetuto può finire su un upstream diverso. Questo cambia se uno sconto di cache si applichi o meno.

Commenti 0

Fonti

1
  1. 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.