I costi di inferenza scendono con Quail e Magnitude
Modal e il Full Stack Data Lab della Carnegie Mellon hanno annunciato il 30 settembre che il loro motore Quail ha elaborato oltre un miliardo di token al minuto su una singola GPU H100, più di 10 volte la loro baseline vLLM, con un prezzo su Modal inferiore a 6 centesimi per miliardo di token.

La stessa giornata in cui arriva questa dichiarazione, un progetto sostenuto da Y Combinator chiamato Magnitude ha rilasciato un motore di inferenza open source che regola i propri kernel sull'hardware dell'utente. Entrambi spingono la stessa idea: il modello non è più la parte costosa. Lo è il livello di servizio.
Quail è il lavoro congiunto dei ricercatori di inferenza di Modal e dei ricercatori di database del Full Stack Data Lab della Carnegie Mellon, descritto in un post del 30 settembre sul blog di Modal e in un testo di accompagnamento del laboratorio. Il problema che affrontano è l'AI-SQL, dove le query SQL chiamano i modelli linguistici riga per riga. Un singolo filtro richiede una chiamata al modello per ogni riga. Un join naif richiede una chiamata per ogni coppia di righe. La query di benchmark del laboratorio, BIO-4, filtra 5.000 referti medici contro 4.144 termini di reazione avversa e poi li unisce due volte. Il loro post stima un tempo di esecuzione ideale di 894,37 secondi, ovvero 14,91 minuti, a partire da un modello roofline che assume il picco di throughput della GPU, la piena sovrapposizione tra CPU e GPU e uno spazio KV cache illimitato.
Eseguire vLLM 0.26.0 con Qwen3 4B FP8 su una H100 con fattore di scala 1,0 ha richiesto 6,84 ore, secondo il laboratorio, cioè 27,55 volte la stima ideale.
Due le cause: l'overhead dell'host, dove la CPU pianifica le richieste mentre la GPU resta inattiva, e quello che chiamano KV regret, dove vLLM scarta uno stato chiave-valore che gli servirà di nuovo. Il laboratorio conta 174.600.000 token sprecati in quella esecuzione.
Su una query con più join, dove la pianificazione conta particolarmente, Quail supera 4.000.000.000 di token elaborati al minuto per GPU H100 (TPM/GPU), oltre 10 volte più veloce della nostra baseline vLLM sullo stesso hardware.
Il post di Modal attribuisce il risultato alla conoscenza anticipata della struttura della query, che permette al motore di ordinare le richieste per gestire meglio la cache e l'eliminazione dello stato KV. Questo ha richiesto una revisione dell'attenzione a cascata in stile Hydragen. Sull'intero benchmark, Quail è 1,84 volte più veloce di vLLM, in media geometrica, comprese due query che gli autori hanno progettato per mostrare dove l'inferenza AI-SQL ha ancora bisogno di lavoro.
Magnitude punta sul silicio dell'utente
Magnitude, indicata come azienda YC S25, ha preso la strada opposta verso lo stesso problema di costo. Il suo README su GitHub, aggiornato il 30 settembre, descrive un motore che compila e regola i kernel sul dispositivo dell'utente prima che un modello venga eseguito, invece di distribuire kernel precompilati per classi di hardware. Il progetto dichiara fino a 2 volte più veloce di llama.cpp, con il 92% in più di velocità nel decode su Metal e il 19% su CUDA, più il 27% in meno di memoria per agente. Funziona su Apple Silicon, NVIDIA, AMD o su una CPU da sola, si collega ad agenti tra cui Pi, OpenCode, Hermes, Codex e Claude Code con un clic, ed è distribuito con licenza Apache 2.0. Prompt, file e modelli restano locali, dice il README.
Entrambi i progetti inseguono la stessa economia.
Un indice dei prezzi pubblicato il 30 settembre da AICostBudget, che copre 81 record pubblici di 11 fornitori, colloca il prezzo mediano di input a 1,32 dollari per milione di token e quello mediano di output a 6 dollari. Al mediano, l'output costa circa cinque volte l'input. La stessa rilevazione ha trovato uno sconto mediano del 90% sull'input in cache su 58 record comparabili e uno sconto mediano del 50% sul batch su 44, ed è questo il dettaglio che conta per chi esegue AI-SQL. I carichi di lavoro che si possono raggruppare in batch e mettere in cache pagano una frazione del prezzo di listino. Quelli che non si possono, pagano il prezzo pieno.
Il conto arriva altrove
L'energia è l'altro numero sul tavolo.
Un articolo presentato a SOSP '26 il 28 settembre, di Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar, sostiene che ottimizzare i cluster GPU solo per l'utilizzo può aumentare i consumi energetici. Il loro sistema, EnerTune, usa modelli analitici delle prestazioni e della potenza per singolo modello, compreso il consumo dei modelli colocati su una stessa GPU, e un algoritmo di bin-packing attento all'energia. Riportano un'energia da 1,4 a 2,3 volte inferiore e una potenza da 1,3 a 2,6 volte inferiore rispetto alle baseline allo stato dell'arte, pur rispettando gli obiettivi di prestazioni.
Gli autori di Quail non sostengono che il loro benchmark risolva la questione. Dicono che due delle query sono state progettate per mostrare dove l'inferenza AI-SQL deve migliorare, e presentano la media geometrica di 1,84 volte come punto di partenza, non come tetto. L'ideale di 14,91 minuti del laboratorio resta un ideale: nessuna implementazione può soddisfare tutte le sue assunzioni.
Un altro dato, dall'altro lato del dibattito sui prezzi.
Un post del 30 settembre di Gagan Kogan, che racconta un lavoro svolto in Pinecone, descrive un test A/B in cui rimuovere dalla pagina dei prezzi un calcolatore basato sull'uso ha reso i visitatori più propensi del 16% a registrarsi e del 90% a contattare l'azienda, senza un aumento dei ticket di assistenza sui prezzi. Sette dipendenti su dieci avevano previsto che avrebbe vinto il calcolatore. La trasparenza sui costi, a quanto pare, è una sua propria forma di complessità.
Per chi compra, la lettura pratica è più stretta dei titoli. Il prezzo per token scende per i carichi di lavoro strutturati e mettibili in cache, e i fornitori pubblicano i livelli che lo fanno scendere. L'infrastruttura sotto, GPU, energia e la pianificazione tra le due, è dove si combatte ora la partita sui costi.
Fonti
6- 01Building an Ultra-High Throughput AI-SQL EngineEN
- 02Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engineEN
- 03magnitudedev/magnitude: Open source inference engine for agentsEN
- 04AI API Pricing Index, September 2026EN
- 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 06The pricing calculator made people more confused about pricingEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.