Benchmark Inference Academy: DeepSeek V4 Flash costa 14,9 volte di più con le richieste a freddo
Inviare due volte lo stesso prompt a DeepSeek V4 Flash può costare 14,9 volte in meno la seconda volta. Lo dice un benchmark di serving pubblicato da inference.academy il 7 settembre, che copre 14 fornitori e tre dimensioni di input.

La misurazione non riguarda la qualità delle risposte. Inference.academy ha usato un unico setup controllato su target di input da 1.000, 10.000 e 100.000 token, ciascuno abbinato a un budget di output di 100 o 1.000 token. La temperatura era impostata a zero e il reasoning disattivato. Le richieste a freddo usavano un prefisso unico; quelle a caldo ripetevano lo stesso prompt. Il sito definisce i risultati come misure di serving, non come punteggi di qualità sui task.
Il costo è calcolato come addebiti totali della richiesta divisi per i token di input, moltiplicati per 1.000.000, e include gli addebiti di output. Questo conta perché il prezzo di input in evidenza su una pagina del fornitore non è ciò che il benchmark confronta. Lo studio riporta punti di costo su 13 rotte per la condizione con 10.000 input, 100 output e cache a freddo.
Il dato di 14,9 volte è il divario più ampio che il benchmark segnala. Sulle richieste a DeepSeek con 100.000 input e budget di 100 output, le chiamate a caldo costano 14,9 volte in meno di quelle a freddo in questo campione. A caldo significa prompt ripetuto, e la quota di cache misurata determina quanta parte del lavoro di input è stata effettivamente fatturata alla tariffa senza cache.
La velocità è un asse separato
Telnyx è stato il più veloce nella generazione mediana in tutte le 12 condizioni testate. La latenza del primo token non ha seguito lo stesso schema. Il benchmark afferma che il primo token più rapido dipendeva dalla forma della richiesta, quindi un fornitore che vince sul time-to-first-token con un prompt da 1.000 token non è necessariamente quello che vince a 100.000.
"Dove invii un prompt cambia quanto paghi, quanto aspetti e se la chiamata va a buon fine."
È con questa frase che inference.academy inquadra l'esercizio. I pannelli dei tempi usano richieste a freddo con un budget di output di 100 token e una scala condivisa sugli assi. Il TTFT va dall'avvio della richiesta al primo delta di contenuto o di reasoning ricevuto dal client, e include il tempo di rete e di coda. Il P90 usa l'interpolazione lineare tra osservazioni ordinate. La velocità di decodifica, misurata dopo l'avvio dello streaming, è riportata come token di completamento divisi per il tempo trascorso dal primo all'ultimo delta di output. Le risposte non in streaming non ricevono alcuna misura di velocità di decodifica.
Il routing è un'altra variabile. Il benchmark ha registrato i nomi upstream restituiti da OpenRouter per ogni forma di richiesta e condizione di cache. Nota anche che un prompt ripetuto può raggiungere un upstream diverso, e questo può cambiarne il comportamento in cache.
Per la condizione a caldo da 10.000 a 100, Together ha totalizzato 29 chiamate, Novita 20 e CoreWeave 17. Nella condizione a freddo da 10.000 a 100, Baidu è comparso 15 volte e Relace 13. Il sito precisa che la larghezza dei segmenti è la quota di chiamate e che i nomi sono upstream dichiarati, non macchine verificate. Aggiunge anche che la sola distribuzione non spiega perché il routing è cambiato.
I tassi di errore sono suddivisi per target di input e budget di output, con confronto separato tra freddo e caldo. Il benchmark avverte che una rotta può comportarsi diversamente quando lo stesso prompt chiede una risposta più lunga. Errori HTTP, di trasporto e di risposta contano tutti come fallimenti, e i conteggi esatti sono nelle tabelle sotto i grafici. Zero significa nessun fallimento osservato in quel campione, non una garanzia.
La conclusione pratica per chi paga le bollette di inferenza è più stretta del titolo. La cache cambia la fattura di più di un ordine di grandezza sugli input lunghi, e il fornitore che si ottiene tramite un router non è fisso. Il benchmark copre 14 fornitori e 13 rotte nel suo scatter dei costi, ma la sua stessa impostazione è il riassunto più prudente: sono misure di serving, e descrivono ciò che è accaduto in questo campione.
Fonti
1Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.