Nuovi strumenti per i costi di inferenza AI mentre i dati sui prezzi GPU moltiplicano le stime

Lo strumento più recente è un calcolatore di costi di inferenza pubblicato il 23 settembre da Flavio Copes. Confronta 27 modelli di OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter e Workers AI. Classifica ogni modello con le stesse ipotesi, permettendo ai team di valutare il rapporto tra costo e capacità invece di guardare solo i listini. Trasforma le ipotesi di prodotto in una fattura mensile: utenti attivi giornalieri, chiamate LLM per utente, token di input e output per chiamata e un tasso opzionale di hit della cache dei prompt. Tutto gira nel browser; il link di condivisione codifica gli input solo nell'URL.

Questo approccio conta più dei singoli numeri.

La documentazione del calcolatore specifica che i dati provengono da tariffe API pubblicate. Ignora i prezzi batch, gli sconti enterprise, i supplementi per immagini o strumenti e qualsiasi layer di cache gestito dal cliente. Definisce l'output una stima di pianificazione, non un preventivo del vendor. È un avvertimento insolitamente diretto per uno strumento di pricing, che riflette lo stato reale di questo mercato.

Due modi per prezzare la stessa GPU

Nella stessa settimana è emersa una seconda categoria di strumenti: tracker che convertono i tassi orari delle GPU in costo per milione di token. FitMyLLM legge i tassi in diretta dall'API di ogni provider, aggiornando ogni tre minuti e facendo cache per dieci minuti al bordo. La tabella elenca attualmente 47 schede e 74 quotazioni, di cui 19 misurate e non stimate, ordinate dal costo per milione di token più basso al più alto.

Il risultato è controintuitivo. La riga più economica su FitMyLLM è una Vast.ai RTX 3090 a 0,13 dollari all'ora, che produce 0,291 dollari per milione di token, marcata come misurata. La riga più veloce è una RTX 5090 a 227 token al secondo, con un costo di 0,576 dollari per milione di token, anch'essa misurata. Una RTX 3090 su RunPod, con un prezzo pubblicato di 0,22 dollari all'ora, risulta a 0,494 dollari per milione di token.

Le schede da datacenter si classificano male qui, e questo è il punto, non un difetto. Un H100 o H200 giustifica il suo prezzo servendo molti stream contemporaneamente; con un singolo stream, la sua enorme larghezza di banda resta in gran parte inattiva.

FitMyLLM è esplicito: questa classifica si inverte per chi serve una folla anziché un singolo utente. Le righe per H100 e H200 sono le meno certe. Lo strumento avverte anche che i prezzi del marketplace sono l'elenco di un singolo host, non una tariffa pubblicata, e che gli host possono far funzionare una scheda al di sotto del suo limite di potenza standard.

GPUAdvisor adotta l'approccio opposto, tracciando 13 provider cloud e 132 istanze per nodo o per GPU, raggruppate per regione e ordinate dalla più economica. Lo snapshot, ultimo tracciamento il 28 settembre, mostra una RTX A4000 16GB a 0,10 dollari all'ora su GPU.ai come voce più economica, e una RTX 3090 24GB a 0,17 dollari all'ora. Nota che i cloud specializzati in GPU offrono prezzi per GPU due o quattro volte più bassi rispetto agli hyperscaler, che GCP Spot offre fino al 70 percento di sconto su istanze A100 e H100, e che gli impegni di un anno risparmiano dal 35 al 40 percento. Chiude con lo stesso avvertimento usato da tutti gli altri: verificare con le pagine di prezzo del provider prima dell'acquisto.

Utilizzo, non prezzo etichettato

Krapton Engineering, che ha aggiornato la sua guida l'ultima volta il 25 settembre, sostiene che la metrica decisiva non è né il tasso orario né il prezzo del token, ma l'utilizzo. Un H100 inattivo per il 60 percento della giornata viene comunque fatturato e il suo costo effettivo per inferenza aumenta di conseguenza. L'azienda descrive un incarico con un chatbot AI conversazionale il cui utilizzo GPU on-demand si aggirava tra il 30 e il 40 percento nelle ore di bassa domanda, anche con autoscaling aggressivo. Spostare il carico base prevedibile su istanze riservate e aggiungere uno scheduler Kubernetes per co-localizzare le richieste di inferenza ha ridotto la fattura complessiva di calcolo del 30 percento.

L'esempio calcolato di Krapton è illustrativo, e lo dichiara. Modella una GPU di fascia media a 1.000 token al secondo per un modello da 7B parametri, un costo riservato illustrativo di 0,75 dollari all'ora dopo uno sconto del 50 percento, e 0,25 dollari all'ora di overhead operativo che non include nel costo API. Sottolinea che i prezzi reali di AWS, GCP o Azure variano e devono essere verificati. Il numero è una forma, non un preventivo.

aicost.ai inquadra lo stesso problema come una scelta tripartita anziché binaria: pagare per token a un host serverless, noleggiare una GPU dedicata all'ora, o eseguire sul proprio account cloud. Il calcolatore predefinisce 2.500 token di output al secondo e un utilizzo del 45 percento, con preset del 20 percento per il basso reale e del 70 percento per il batch ben ottimizzato. Le indicazioni che ne derivano sono condizionali. Il serverless vince a basso volume o a burst e con modelli a basso costo per token. Il noleggio dedicato vince a volume alto e costante con modelli ad alto costo per token. L'auto-hosting vince a volume alto e costante con prezzi riservati o spot, assumendo che si gestisca già l'infrastruttura. Il punto di incrocio, dice, è il prezzo per token misto moltiplicato per il volume contro i dollari GPU all'ora moltiplicati per la dimensione della flotta.

Cosa ammettono di perdere i tracker

Ognuno di questi strumenti pubblica i propri limiti, il che vale più delle tabelle. aicost.ai afferma che tutte e tre le opzioni GPU assumono un utilizzo completo alla throughput dichiarata ed escludono setup, ops, rete e overhead di affidabilità. La throughput varia per modello, hardware, dimensione del batch e forma del prompt, quindi è un input modificabile e non una costante. I prezzi riservati e spot assumono che si possa effettivamente mantenere o recuperare la capacità, e lo spot può essere interrotto.

FitMyLLM nota che il servizio batch è più economico per token, e che una scheda inattiva viene comunque fatturata. Rivela anche che i link dei provider potrebbero contenere un codice di affiliazione, dichiarando che il codice non cambia ciò che è elencato né come la tabella si ordina. GPUAdvisor afferma che i suoi prezzi sono approssimativi, variano per regione e disponibilità e riflettono le stime di settembre 2026.

La conclusione pratica è stretta. Il 28 settembre, la voce on-demand pubblicata più economica nel tracker di GPUAdvisor era a 0,10 dollari all'ora, e il costo misurato per milione di token più economico nella tabella di FitMyLLM era a 0,291 dollari. Entrambi i numeri sono input di pianificazione, non impegni, e entrambi cambiano con le assunzioni di carico che un team inserisce.

Gli strumenti divergono anche nell'enfasi. FitMyLLM classifica le schede consumer prima di quelle da datacenter per il servizio a singolo stream e lo chiama risultato. Krapton tratta la capacità riservata come la via di mezzo per carichi sostenuti e prevedibili. aicost.ai tratta il cloud proprio come il più economico solo con impegni riservati o spot e alto utilizzo. Non si stanno mediando verso una singola risposta, perché non ce n'è una.

La novità è che le assunzioni sono ora esposte. Un anno fa, il tasso orario era l'unico numero pubblico e la conversione in costo per token avveniva in un foglio di calcolo che nessuno condivideva. A partire da questa settimana, tre strumenti separati pubblicano le loro cifre di throughput, i loro default di utilizzo e le loro barre di errore, e un quarto pubblica la data della sua stima. Questo non rende i numeri corretti. Li rende discutibili, che è il prerequisito per fare budgeting su di essi.