L'hosting di token da modelli open-weight conviene solo su B300 oltre un terzo di utilizzo

Chi pensa di vendere token generati da modelli open-weight deve guardare più alla scheda GPU che al motore di inferenza. Un nodo 8xB300 con un utilizzo dal 50% al 70% rende un margine lordo dal 31% al 51%. H200 non va in pareggio con nessun livello di utilizzo. Se questi margini reggano alla guerra dei prezzi di OpenRouter non è dato sapere. Lì 29 fornitori vendono lo stesso modello, e il prezzo di input più basso è 0,056 dollari per milione di token contro circa 0,30 per la maggior parte.

Il test di redditività

L'analisi è di userecurrence.ai. Fissa un modello, un profilo di traffico, una promessa di velocità, un prezzo e un canone di noleggio, poi cambia solo la scheda. H200 perde denaro anche quando è occupata al massimo. B300 guadagna da quando è occupata al 35%.

Il test usa DeepSeek V4.1 Flash con una promessa di 100 token di output al secondo per utente, contro i prezzi pubblici di noleggio delle GPU. Il traffico viene dal carico AgentX di SemiAnalysis: 393 sessioni di Claude Code riprodotte. L'input mediano è di 142.000 token, l'output mediano di 444, e circa il 95% dell'input arriva dalla cache. C'è chi sostiene che DeepSeek guadagni 38 dollari per GPU-ora; c'è chi dice che su OpenRouter perdono tutti. L'analisi risponde che stanno misurando cose diverse.

Perché conta più la scheda del motore

I motori di inferenza open source non sono più il punto debole. vLLM e SGLang sono maturi per la produzione, e DeepSeek ha aperto DeepInfer, il motore dietro la propria API. A ottobre 2026 il team di vLLM ha replicato il throughput in decodifica di DeepInfer entro il 6% sullo stesso hardware.

Il motore, insomma, è un problema risolto, comunque lo si ottenga. Secondo l'analisi anche un motore scritto in casa può arrivare allo stesso livello. A separare profitto e perdita sono l'hardware che si noleggia e quanto lo si tiene pieno. L'asticella della velocità è alta: 100 token di output al secondo per utente, mentre il fornitore mediano su OpenRouter ne serve circa 35.

La guerra dei prezzi già sotto il costo del modello

OpenRouter elenca 29 fornitori che vendono lo stesso DeepSeek V4.1 Flash. Il più economico chiede 0,056 dollari per milione di token di input, contro circa 0,30 per la maggior parte, un prezzo che l'analisi definisce sotto costo con qualsiasi calcolo. Volumi e ricavi hanno già preso strade diverse: nella prima metà del 2026 i token di V4 sono più o meno raddoppiati mentre la sua quota di spesa si è mossa appena.

Nella settimana dal 19 al 25 ottobre DeepSeek V4.1 Flash ha preso circa il 30% di tutti i token su OpenRouter, il modello open-weight più usato con ampio margine. Non è traffico da chatbot. Il traffico agentico vale 7 volte quello umano, e circa l'87% dei token viene servito dalla cache.

L'open source come canale di distribuzione

La stessa logica vale per il resto del business open source. A ottobre 2026 NVIDIA ha rilasciato l'intera piattaforma HeavyAI come open source sotto Apache 2.0, compresa l'interfaccia di visualizzazione Immerse, HeavyRF e HeavyConnect. Il repository conteneva da tempo solo una versione open source limitata del nucleo HeavyDB.

Altrove l'open source funziona da marketing. Higgsfield ha annunciato che avrebbe aperto la propria piattaforma, e ComfyUI ha lanciato un hackathon di due settimane per ricostruire le sue app più popolari. Il primo premio assoluto è di 10.000 dollari, e le candidature si sono chiuse il 3 novembre. CaseCite, piattaforma di ricerca giuridica self-hosted sotto Apache 2.0, si presenta come risposta open source a Harvey, che ha raccolto 500.000.000 di dollari per l'AI legale. Documenti, indice di ricerca e cronologia delle chat restano sui server di chi la installa, e le funzioni AI girano sulle sue chiavi API.

Anche la domanda spinge nella stessa direzione. I team AI delle aziende producono ormai più codice di quanto riescano a valutare, e il collo di bottiglia è la revisione, la sicurezza e la governance, non la generazione.

Cosa succede adesso

ComfyUI annuncia i vincitori dell'hackathon il 10 novembre. L'intera piattaforma HeavyAI è disponibile ora sotto Apache 2.0. Le versioni di CaseCite fino alla 1.3.0 restano sotto Elastic License 2.0, mentre le release attuali usano Apache 2.0. Se i margini di B300 terranno mentre i prezzi di OpenRouter continuano a scendere è la domanda aperta.