Prezzi dell'inferenza divisi: cache hit, latenza vocale e self-hosting
Le richieste a DeepSeek V4 Flash con 100.000 token di input costano 14,9 volte meno a caldo che a freddo in un campione controllato, secondo un benchmark pubblicato da inference.academy il 7 settembre 2026.

Quel singolo rapporto, misurato su 14 route, riassume cosa è successo quest'anno ai prezzi dell'inferenza. La tariffa dichiarata per milione di token non è più il numero che decide una fattura. Lo stato della cache, la forma della richiesta e quale fornitore a monte risponde alla chiamata spostano ora il costo di un ordine di grandezza.
Il setup di inference.academy era volutamente ristretto. Usava obiettivi di 1.000, 10.000 e 100.000 token di input, ciascuno con un budget di 100 o 1.000 token di output, temperatura 0 e reasoning disattivato. Le richieste a freddo portavano un prefisso unico; quelle a caldo ripetevano lo stesso prompt. L'autore le ha descritte come misurazioni di serving, non come punteggi di qualità sui compiti. Il costo era definito come addebiti totali della richiesta divisi per i token di input, moltiplicati per 1.000.000, compresi gli addebiti di output, quindi non è il prezzo di listino dei token di input.
La quota di cache è la somma dei token di input in cache divisa per la somma dei token di input delle richieste riuscite che riportano entrambi i valori. È una quota di token, non la percentuale di richieste che hanno colpito la cache. La sequenza a caldo include la sua richiesta iniziale.
Il routing ha aggiunto una seconda variabile che lo studio non è riuscito a spiegare del tutto. Su 1.000 token di input e 100 di output con cache fredda, OpenRouter ha restituito 20 nomi a monte, con Baidu a 18 chiamate, Relace a 14 e AkashML a 13. La stessa forma di richiesta a caldo ha restituito 14 nomi, guidati da Relace a 24, CoreWeave a 16 e DeepSeek a 11. Il rapporto osserva che un prompt ripetuto può raggiungere un fornitore a monte diverso, il che può cambiarne il comportamento in cache, e afferma chiaramente che la sola distribuzione non stabilisce perché il routing sia cambiato.
Telnyx ha guidato la velocità di generazione mediana in 12 condizioni su 12, secondo lo stesso benchmark. Il primo token più veloce dipendeva dalla forma della richiesta, il che significa che un modello che sembra rapido su un prompt breve può non mantenere quella posizione su uno lungo.
I modelli vocali si sfidano sui millisecondi, poi sul prezzo
I benchmark di latenza nel parlato hanno seguito uno schema simile. Nari Labs ha scritto il 14 settembre 2026 che, a metà settembre, è in testa sia al benchmark speech-to-text sia a quello text-to-speech di Coval, primo per latenza e secondo per word error rate nello STT, secondo per latenza e primo per WER nel TTS. Aggiunge un'avvertenza da tenere presente: le cifre di Coval possono oscillare ogni 30 minuti.
L'endpoint Qwen3-ASR Fast dell'azienda è primo per tempo all'ultimo segmento, con un p50 di 44 ms e un WER del 3,6%, secondo dietro Universal 3.5 Pro di AssemblyAI al 3,5%. Nari afferma che l'endpoint Fast a 0,12 dollari all'ora è a pari merito per il secondo prezzo più basso tra i modelli con tariffe pubbliche note nella directory prezzi di Coval, e che Universal 3.5 Pro costa 3,75 volte di più mentre Deepgram Nova 3 costa 2,4 volte di più. L'endpoint Standard sarebbe il più economico a 0,06 dollari all'ora.
Sul fronte della sintesi, il modello Qwen3-TTS Fast di Nari è secondo per tempo al primo audio, con un p50 di 63 ms e un WER del 3,8%, che l'azienda definisce primo per qualità. Solo vui di Fluxions registra una TTFA mediana più bassa, 49 ms, da un modello da 300.000.000 di parametri contro gli 1.700.000.000 di Qwen3-TTS serviti da Nari.
A 10 dollari per 1.000.000 di caratteri, Nari afferma che il suo endpoint Fast è a pari merito per il prezzo più basso nella directory di Coval, con ElevenLabs Eleven v3 Conversational a 5 volte tanto e Cartesia Sonic 3.6 a 6,5 volte tanto.
Il confronto più netto nel post è tra endpoint che servono gli stessi pesi. Nari riporta che l'endpoint ufficiale Qwen3 TTS Flash Realtime si attesta all'8,8% di WER e a una TTFA mediana nell'ordine delle centinaia di millisecondi, mentre l'endpoint dedicato Qwen3-TTS di Baseten registra il 6,0% di WER e una TTFA mediana di poche centinaia di millisecondi. Stesso modello, stack di serving diverso, numeri diversi.
Anche il self-hosting ha un prezzo, ed è in operations
L'indagine di Nexlab del 20 settembre 2026 sugli orchestratori self-hosted copre LocalAI, exo, GPUStack, Xinference, Ollama, vLLM e CoderAI, con i conteggi delle stelle su GitHub prelevati dall'API quel giorno. La colonna utile non sono le stelle ma ciò che ogni strumento fa tra più macchine.
- Ollama, a 181.000 stelle, gestisce una macchina e un modello alla volta, senza alcuna storia di cluster oltre al round-robin su più URL di Ollama.
- vLLM, a 92.000 stelle, gestisce il parallelismo tensoriale e di pipeline su Ray ma non amministra modelli, utenti o collocazione.
- LocalAI, a 49.000 stelle, ha aggiunto a giugno 2026 una modalità distribuita con discovery libp2p e un router consapevole di VRAM e cache dei prefissi; l'indagine dice che il suo throughput grezzo per LLM resta indietro rispetto a un motore dedicato di alcune decine di punti percentuali.
- exo, a 47.000 stelle, scala su Apple Silicon con MLX e RDMA su Thunderbolt 5, riportando 3,2 volte su quattro dispositivi, ma a settembre 2026 su Linux funziona solo su CPU.
- GPUStack, a 5.700 stelle, offre utenti, chiavi, misurazione dei consumi e Prometheus, e supporta nove fornitori di acceleratori.
LiteLLM, a 59.000 stelle, instrada tra endpoint e cloud ma non esegue alcun modello, una distinzione che secondo l'indagine viene spesso trascurata.
Lo schema che attraversa tutte e tre le fonti è che il costo ha smesso di essere una singola tariffa pubblicata. Un gateway che ignora lo stato della cache, un endpoint vocale che ignora la latenza di coda o un orchestratore che ignora i tassi di errore produrranno ciascuno una fattura o un'esperienza utente che il prezzo di listino non aveva previsto.
Ciò che nessuna di queste fonti chiarisce è quanto siano duraturi i divari. Gli sconti sulla cache dipendono dal routing, il routing cambia tra una chiamata e l'altra, e le posizioni nei benchmark si spostano nel giro di un'ora. Chi confronta due fornitori su un solo numero sta confrontando la cosa sbagliata.
Fonti
3- 01DeepSeek V4 Flash across 14 providers: cost, speed and cachingEN
- 02Show HN: Nari Qwen3-TTS and Qwen3-ASREN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.