Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Quail esegue AI-SQL a 1 miliardo di token al minuto su una H100, 10 volte più veloce di vLLM

Modal e il Full Stack Data Lab della Carnegie Mellon hanno pubblicato il 30 settembre Quail, un motore di inferenza che ottimizza insieme la pianificazione delle query SQL e l'esecuzione del modello per superare il miliardo di token al minuto su una singola H100, oltre 10 volte una baseline vLLM.

IA e modelliAnalisiChiara RomanoPubblicato: 30 settembre 20263 min di letturaFonti 7
Quail esegue AI-SQL a 1 miliardo di token al minuto su una H100, 10 volte più veloce di vLLM

I numeri sono il punto. Su una query con più join, Quail elabora più di un miliardo di token al minuto per GPU H100, secondo Modal, che ha costruito il motore con il Full Stack Data Lab della Carnegie Mellon University. Sull'hardware di Modal questo equivale a meno di 6 centesimi per miliardo di token. Su un nuovo benchmark per le query AI-SQL, Quail va 1,84 volte più veloce di vLLM, con media geometrica sui vari task.

Il post di accompagnamento del Full Stack Data Lab, uscito lo stesso giorno, spiega dove sbaglia la baseline. Il team ha eseguito vLLM 0.26.0 con Qwen3 4B FP8 su una H100 contro BIO-4, una query che filtra 5.000 referti medici contro 4.144 termini di reazione, con due join. La stima del limite teorico per quel piano era di 894,37 secondi, cioè 14,91 minuti. vLLM ha impiegato 6,84 ore, 27,55 volte quella stima.

Le cause sono due. L'overhead dell'host, dove la CPU pianifica e traccia le richieste mentre la H100 resta ferma. E il KV regret: vLLM scarta la cache key-value che gli servirà di nuovo più avanti, così con fattore di scala 1.0 l'esecuzione ha elaborato 174,6 milioni di token di prefill sprecati.

La soluzione di Quail è strutturale. Con in mano un piano di query, il motore può ordinare ed eliminare la cache KV in modo mirato, una revisione dell'attenzione a cascata in stile Hydragen, e può raggruppare le richieste piccole per tenere occupata la GPU. Modal descrive il risultato come il punto in cui la pianificazione del database e lo scheduling dell'inferenza smettono di essere problemi separati.

Perché conta per la bolletta

AI-SQL è lo schema in cui SQL viene esteso con funzioni definite dall'utente che chiamano un LLM. Snowflake Cortex AISQL, le funzioni AI di BigQuery, Databricks AI Functions e, di recente, MotherDuck lo supportano, nota il Full Stack Data Lab. Un filtro significa una chiamata al modello per riga. Un join fatto alla leggera significa una chiamata per ogni coppia di righe. Una sola query può generare centinaia di migliaia o milioni di chiamate.

Su questo sfondo il quadro generale dei prezzi diventa più confuso, non più chiaro. L'indice dei prezzi di settembre di AICostBudget, congelato al taglio UTC del 2026-09-30, copre 81 record pubblici su 11 fornitori. Il prezzo mediano di input è 1,32 dollari per milione di token; quello di output è 6. Lo sconto mediano sull'input in cache è del 90%, quello mediano sul batch del 50%. La stessa pagina avverte che i prezzi di listino servono a pianificare, non sono fatture.

Le tariffe orarie lorde delle GPU raccontano una divergenza simile. GPUAdvisor, che segue 14 fornitori, con ultimo rilevamento il 1 ottobre, elenca una A4000 16GB su Hyperstack a 0,15 dollari l'ora, una RTX 3090 su Lium a 0,22 e una L40S su Lium a 0,38, che segnala come 89% sotto AWS. Il riassunto del sito è diretto: i cloud specializzati in GPU offrono prezzi per GPU da 2 a 4 volte inferiori a quelli degli hyperscaler, e le istanze spot possono far risparmiare dal 60 al 70% sulle sessioni di training con checkpointing.

FitMyLLM converte le tariffe orarie in costo per milione di token, e la classifica si ribalta. L'opzione più economica misurata è una RTX 3060 12GB su Vast.ai a 0,261 dollari per milione di token. Una RTX 5090 su Vast.ai è la scheda più veloce misurata, con 227 token al secondo, ma costa 0,576 per milione. Le schede da datacenter scendono male in questa lettura a singolo stream, e FitMyLLM lo dice: una H100 giustifica il prezzo servendo molti stream insieme, e con un solo stream la sua banda resta in gran parte inutilizzata.

La questione dell'efficienza che sta sotto

L'energia è l'asse successivo. Un articolo presentato a SOSP '26 il 28 settembre, di Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma e Neeraja J. Yadwadkar, sostiene che ottimizzare solo l'utilizzo della GPU può far salire i consumi. Il loro sistema, EnerTune, dichiara un'energia da 1,4 a 2,3 volte inferiore e una potenza assorbita da 1,3 a 2,6 volte inferiore rispetto alle baseline allo stato dell'arte, rispettando gli SLO di prestazioni.

Non tutti i fornitori inseguono la stessa curva. Mind-1 di MindOn, annunciato il 30 settembre, punta sulla latenza di inferenza per i robot, riducendola da 82ms a 32ms, un altro angolo dello stesso problema: cosa compra davvero un'ora di calcolo.

Commenti 0

Fonti

7
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03AI API pricing index - September 2026EN
  4. 04Cloud GPU Pricing - Cost Intelligence for H100, A100 & B200EN
  5. 05Cloud GPU prices for LLM inference - cost per million tokensEN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.