Quail dichiara 1.000.000.000 di token al minuto su una sola H100, mentre il monitoraggio dei prezzi delle GPU si affolla
Modal e il Full Stack Data Lab della Carnegie Mellon sostengono che il loro motore Quail ha portato una query AI-SQL con più join oltre 1.000.000.000 di token al minuto su una singola H100, più di 10 volte la loro baseline vLLM. Lo scrivono in un post del 30 settembre.

Alla dichiarazione è attaccato un prezzo: meno di 6 centesimi per 1.000.000.000 di token su Modal, secondo il blog dell'azienda. È il tipo di numero che decide se AI-SQL finisce in produzione o viene archiviato in silenzio, perché un filtro su un milione di righe equivale a un milione di chiamate al modello.
Due colli di bottiglia, due correzioni
Il testo del Full Stack Data Lab, pubblicato il 24 settembre, inquadra il problema in termini di database. Una query che incrocia 5.000 referti medici con 4.144 termini di reazione si espande in milioni di richieste di inferenza separate. Eseguirle una alla volta con vLLM 0.26.0, Qwen3 4B FP8 e una H100 ha richiesto 6,84 ore. Gli autori calcolano che siano 27,55 volte la loro stima roofline di 894,37 secondi, cioè 14,91 minuti. Indicano due cause: l'overhead dell'host, dove la CPU pianifica le richieste mentre la H100 resta inattiva, e il KV regret, dove il motore scarta uno stato chiave-valore che poi gli servirà di nuovo. Su quel benchmark con fattore di scala 1.0, vLLM ha elaborato 174.600.000 token di cui non aveva bisogno.
La risposta di Quail è guardare il piano della query prima di eseguirla. Se conosci la forma dei join, puoi ordinare le richieste in modo che i prefissi condivisi restino in cache, e puoi raggruppare lavoro che un motore generalista tratta come non correlato. Il post di Modal lo descrive come una revisione dell'attention a cascata in stile Hydragen. Entrambi i team parlano del progetto come di una collaborazione tra i ricercatori di inferenza di Modal e il gruppo database della CMU.
Sull'intero benchmark il numero è più piccolo: 1,84 volte più veloce di vLLM, con media geometrica, comprese due query che gli autori hanno costruito apposta per mostrare dove l'inferenza AI-SQL fallisce ancora.
I dati sui prezzi che stanno sotto
Le dichiarazioni sui costi atterrano in modo diverso a seconda di quanto costa in partenza un'ora di GPU, e quel numero ora si muove ogni settimana. GPUAdvisor segue 14 fornitori e indica Hyperstack a 0,15 dollari l'ora per una A4000 16GB, Lium a 0,22 per una RTX 3090 e 0,38 per una L40S, e la RTX A5000 di RunPod a 0,27 on-demand contro 0,16 sul livello condiviso Community Cloud. La sua pagina, aggiornata l'ultima volta il 1 ottobre, dice chiaramente che i prezzi delle GPU hanno smesso di essere una tabella di consultazione stabile.
FitMyLLM affronta la stessa domanda dal lato dei token, sostenendo che una tariffa oraria non dice nulla senza un dato di throughput. La sua tabella live legge le tariffe dalle API dei fornitori ogni tre minuti e ordina per costo per milione di token in output su un solo stream. L'annuncio di una RTX 3060 su Vast.ai risulta il più economico a 0,261 dollari per milione di token; una RTX 5090 su Vast.ai gira a 227 token al secondo e 0,576 dollari per milione. Il sito ammette apertamente che le schede da datacenter si classificano male su questa metrica per costruzione, dato che una H100 o una H200 giustificano il prezzo servendo molte richieste insieme, e che quelle righe sono stime e non misure.
"Il prezzo di un marketplace è l'annuncio di un singolo host, non una tariffa pubblicata: può sparire, e gli host possono tenere una scheda sotto il suo limite di potenza nominale, il che costa velocità che il prezzo non mostra."
Per chi compra API invece di affittare GPU, l'indice di settembre di AICostBudget fissa 81 record pubblici di 11 fornitori a una data di riferimento del 2026-09-30. Il prezzo mediano in input è 1,32 dollari per milione di token, quello in output 6, e il rapporto mediano output-input è 5,0 volte. I record con input in cache mostrano uno sconto mediano del 90% e quelli con prezzo Batch un 50% mediano, su 58 e 44 righe comparabili rispettivamente. L'indice avverte esplicitamente che le sue mediane per fornitore non sono prezzi di mercato ponderati per l'uso, e che non rivendica un calo annuo a livello di settore.
L'efficienza si sposta più in alto
L'energia è la prossima voce. Un paper presentato a SOSP '26 il 28 settembre da Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar sostiene che ottimizzare solo per l'utilizzo della GPU può far salire i consumi. Il loro sistema, EnerTune, usa modelli analitici delle prestazioni e della potenza per singolo modello, compreso il consumo dei modelli colocati sulla stessa GPU, dentro un algoritmo di bin-packing attento all'energia. Gli autori riferiscono di aver rispettato gli SLO di prestazioni riducendo l'energia da 1,4 a 2,3 volte e la potenza assorbita da 1,3 a 2,6 volte rispetto alle baseline allo stato dell'arte. Profilare ogni configurazione è di per sé troppo costoso su larga scala, ed è per questo che i modelli sono analitici invece che misurati.
L'inferenza on-device porta lo stesso argomento dal lato opposto. Magnitude, azienda YC S25 che ha pubblicato su Hacker News il 30 settembre, distribuisce un motore open source sotto Apache 2.0 che compila e ottimizza i kernel sull'hardware dell'utente prima che un modello giri. Il suo README dichiara fino a 2 volte più veloce di llama.cpp, con il decode più rapido del 92% su Metal e del 19% su CUDA, e il 27% di memoria in meno per agente. Nessun costo per token, niente esce dalla macchina. Il compromesso è che fa girare modelli aperti sulla tua GPU, non un modello di frontiera su quella di qualcun altro.
Cosa devono guardare gli acquirenti
Tre numeri del dossier puntano in direzioni diverse. L'1,84 volte di velocità media di Quail è reale ma modesto accanto al titolo da 1.000.000.000 di token al minuto, e gli autori stessi lo dicono. La tariffa misurata più bassa di FitMyLLM, 0,261 dollari per milione di token, sta su una scheda consumer che la maggior parte dei team di produzione non metterebbe in campo. Il prezzo mediano in output di AICostBudget, 6 dollari per milione di token, riflette i listini, non le tariffe in cache o batch che i carichi grandi pagano davvero.
La lettura pratica: le tariffe orarie per GPU sono ormai un confronto da commodity, e la differenza si è spostata sul throughput per dollaro, sul comportamento della cache e sull'energia. Gli autori di Quail dicono esplicitamente che questo è un inizio, non un traguardo. Chiedono l'unica cosa che il loro benchmark non può fornire da solo, cioè carichi reali da team che fanno girare AI-SQL su larga scala.
Fonti
7- 01Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 02Building an Ultra-High Throughput AI-SQL EngineEN
- 03Cloud GPU Pricing — Cost Intelligence for H100, A100 & B200EN
- 04Cloud GPU prices for LLM inference — cost per million tokensEN
- 05AI API Pricing Index — September 2026EN
- 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 07Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.