Si moltiplicano gli strumenti per i costi di inferenza, mentre i prezzi delle GPU restano opachi
Un calcolatore che gira nel browser, pubblicato il 23 settembre, confronta i costi di inferenza di 27 modelli, ma il suo stesso autore avverte che il risultato è una stima per la pianificazione, non un preventivo del fornitore. Pochi giorni dopo, un altro benchmark ha messo sotto la stessa lente il costo di far girare un modello per un'ora.

L'ultimo arrivato nella discussione sui costi di inferenza non è un annuncio di listino. È un calcolatore. Flavio Copes ha pubblicato il 23 settembre un Inference Cost Calculator che mette in classifica 27 modelli di OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter e Workers AI partendo dalle stesse ipotesi.
Si impostano gli utenti attivi giornalieri, le chiamate per utente, i token di input e di output per chiamata e, se serve, un tasso di successo della cache del prompt. Lo strumento restituisce una bolletta mensile. Avverte anche che i numeri vengono dalle tariffe API pubblicate e non tengono conto dei prezzi batch, degli sconti enterprise, dei sovrapprezzi per immagini o tool e di eventuali livelli di cache costruiti in casa.
Quella avvertenza conta più della classifica.
Il benchmark che dà un prezzo a un'ora di ragionamento
Il 26 settembre StarSkirmish ha pubblicato un confronto di costi di altro tipo. Il benchmark dà a ogni LLM un'ora di tempo per scrivere in C++ un bot Protoss per StarCraft: Brood War, poi fa giocare i bot l'uno contro l'altro e contro avversari scritti da persone. In gara ci sono 50 bot LLM provenienti da 10 modelli, più 3 bot dimostrativi e 9 bot competitivi scritti da umani, per 62 partecipanti, eseguiti su sandbox di Prime Intellect.
Secondo la presentazione del progetto, GPT-6 Astra e Claude Opus 5.5 sono di fatto appaiati in testa, con GPT-6 Sol nettamente un gradino sopra gli altri insieme a loro. Il benchmark riporta anche il punteggio in funzione del costo API medio di una singola esecuzione da un'ora, su scala logaritmica, e afferma che in quel confronto GPT-6 Sol offre un rapporto qualità-prezzo particolarmente buono.
Qui il ragionamento è sul costo per capacità, non sul costo per token. Gli autori ammettono anche un limite: i modelli di ragionamento allo stato dell'arte traggono ormai un vantaggio significativo da periodi di ragionamento più lunghi di un'ora, e versioni con esecuzioni più prolungate sono in programma.
Perché è difficile fidarsi dei numeri pubblici
Nessuna delle due fonti dà il prezzo di una GPU. Per quello il dossier ha un'indagine pubblicata il 20 settembre da Nexlab, che confronta orchestratori self-hosted tra cui LocalAI, exo, GPUStack, vLLM, Ollama, Xinference e CoderAI. Le stelle sono state prese dall'API di GitHub il 20 settembre, e l'autore dichiara apertamente che dove una funzionalità non era confermabile la tabella lo scrive invece di tirare a indovinare.
Le distinzioni utili dell'indagine non riguardano affatto il prezzo. Separa se un modello può essere distribuito su più di una macchina, se un turno successivo viene instradato dove si trovano già la sua KV cache o la sua prefix cache, e se il server è in grado di affittare da solo una GPU. vLLM, con 92.000 stelle in quella rilevazione, supporta il parallelismo tensoriale e di pipeline su Ray e il prefix caching per istanza. Ollama, con 181.000 stelle, lavora su una macchina e un modello alla volta, senza alcuna gestione di cluster oltre al round-robin di più URL dietro Open WebUI.
È l'hardware, non il software, a fare la spesa. Il mercato fotovoltaico brasiliano non è una storia di AI, ma pv magazine ha riportato il 26 settembre che i prezzi medi degli impianti PV nel paese sono saliti del 7% tra gennaio e giugno 2026 per gli impianti fino a 300 kW, secondo lo studio Distributed Energy Solutions di Greener. Il costo dei kit per impianti da 4 kW è cresciuto del 18,3%, da BRL 1,42/W a BRL 1,68/W.
Merce diversa, stesso problema: il numero in evidenza si muove perché si muovono i componenti.
Cosa dice la ricerca sul lato dell'output
Un altro pezzo del quadro dei costi sta dal lato della domanda. Un articolo inviato ad arXiv il 14 settembre e revisionato il 17 settembre, SlopShape, descrive uno strumento con 214 caratteristiche che riconosce i contenuti web commerciali generati dall'AI dalle sole firme strutturali. Applicato da un LLM e validato contro l'annotazione umana, ha raggiunto 98,0 di macro-F1 su aziende tenute fuori dall'addestramento, e 98,1 quando ogni post AI è stato riformulato dal suo stesso modello. L'autore è Jochen Madler di Sitefire.
Un'inferenza più economica produce più testo. Riconoscere quel testo è ormai un compito misurabile, con un'accuratezza pubblicata, e questo è di per sé un costo di infrastruttura.
Nessuna di queste fonti concorda su quanto dovrebbe costare l'inferenza, perché nessuna misura la stessa cosa. Il calcolatore misura una bolletta ipotetica. Il benchmark misura la capacità per ora di spesa API. L'indagine sugli orchestratori misura funzionalità, non fatture. Qualsiasi cifra presa singolarmente va trattata come un'ipotesi di partenza.
Fonti
5- 01Inference Cost CalculatorEN
- 02StarSkirmish BenchEN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
- 04PV system costs increase by 7% in Brazil in H1EN
- 05SlopShape: Identifying AI-Generated Commercial Web ContentEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.