Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Corsa ai costi di inferenza: Quail rivendica 1 miliardo di token al minuto, Magnitude ottimizza i kernel sul dispositivo

Due team di ingegneri hanno pubblicato il 30 settembre rivendicazioni separate: il costo di esecuzione dei modelli aperti si può ridurre riscrivendo il modo in cui i motori di inferenza gestiscono l'hardware e la struttura delle query, senza aspettare GPU più economiche.

IA e modelliAnalisiChiara RomanoPubblicato: 30 settembre 20263 min di letturaFonti 6
Corsa ai costi di inferenza: Quail rivendica 1 miliardo di token al minuto, Magnitude ottimizza i kernel sul dispositivo

Modal e il Full Stack Data Lab della Carnegie Mellon University hanno dichiarato il 30 settembre che Quail, il motore di inferenza costruito insieme, ha elaborato più di 4.000.000.000 di token al minuto su una singola GPU H100 per una query AI-SQL con più join. È oltre 10 volte il loro riferimento vLLM sullo stesso hardware, secondo il post sul blog di Modal, e corrisponde a meno di 6 centesimi per miliardo di token sul cloud di Modal.

La rivendicazione si basa su un carico di lavoro specifico. AI-SQL estende l'SQL ordinario con funzioni che chiamano un modello linguistico: un filtro può attivare una chiamata al modello per riga, un join una chiamata per coppia di righe. La nota tecnica del Full Stack Data Lab descrive una query di benchmark, BIO-4, su 5.000 referti medici e 4.144 termini di reazione. Eseguita su vLLM 0.26.0 con Qwen3 4B FP8 su una H100 ha richiesto 6,84 ore con fattore di scala 1,0, che secondo gli autori è 27,55 volte una stima roofline di 14,91 minuti.

Lavoro sul motore, non sul silicio

Quel divario è l'argomento. Gli autori attribuiscono la perdita all'overhead dell'host, con la CPU che pianifica le richieste mentre la H100 resta inattiva, e a quello che chiamano KV regret: vLLM scarta la cache di chiavi e valori di cui avrà di nuovo bisogno più tardi. Il blog del laboratorio afferma che la query ha elaborato 174.600.000 token di lavoro KV sprecato. Quail invece prende in ingresso il piano della query, il che gli permette di ordinare le richieste per riusare la cache e svuotarla deliberatamente.

Le due note non coincidono nell'enfasi. Modal inquadra il risultato intorno alla singola query migliore e alla cifra di 1.000.000.000 di token al minuto, mentre il Full Stack Data Lab riporta che Quail è 1,84 volte più veloce di vLLM se si fa la media geometrica sul nuovo benchmark AI-SQL, comprese due query progettate dagli autori per mettere in luce le debolezze rimaste. Entrambe le serie di numeri vengono dalla stessa collaborazione, quindi non sono una verifica indipendente.

Lo stesso giorno, Magnitude, azienda di Y Combinator S25, ha aperto il codice del proprio motore di inferenza con licenza Apache 2.0. Il suo repository GitHub sostiene che i modelli aperti girano fino a 2 volte più veloci di llama.cpp, con il 92% di decodifica in più su Metal e il 19% su CUDA. Il meccanismo è diverso da quello di Quail: Magnitude compila e ottimizza i kernel sul dispositivo dell'utente prima che un modello parta, puntando ad Apple Silicon, Nvidia, AMD o a una CPU semplice. Il repository rivendica anche il 27% di memoria in meno per agente e la condivisione della cache di prefisso tra sessioni concorrenti.

Il contesto di entrambe le uscite è un mercato in cui i prezzi di listino non scendono in modo uniforme. L'istantanea di settembre di AICostBudget, congelata al limite UTC del 30 settembre, copre 81 record di prezzi pubblici su 11 fornitori. Colloca la mediana dell'input a 1,32 dollari per milione di token e quella dell'output a 6 dollari, un rapporto di 5,0 volte, con lo sconto mediano del 90% sull'input in cache e del 50% sui prezzi batch. Di solito è l'output, non l'ingestione del prompt, la componente più costosa.

Anche il lavoro a livello hardware viene misurato sull'energia invece che sull'utilizzo. Un articolo presentato a SOSP '26 il 28 settembre, Beyond Utilization, sostiene che ottimizzare il multiplexing delle GPU solo per l'utilizzo può far crescere i consumi energetici. Il suo sistema, EnerTune, usa modelli analitici della potenza per modello e del consumo dei modelli colocati, e gli autori riportano riduzioni di energia da 1,4 a 2,3 volte e di potenza da 1,3 a 2,6 volte rispetto a riferimenti all'avanguardia non nominati, rispettando gli obiettivi di prestazioni.

Un avvertimento arriva da fuori dall'infrastruttura. Gaurav Kogan di Pinecone ha descritto il 30 settembre come l'azienda ha rimosso il proprio calcolatore di prezzi a consumo dopo un test A/B. I visitatori che non lo vedevano avevano il 16% di probabilità in più di registrarsi e il 90% in più di mettersi in contatto, senza un aumento dei ticket di assistenza sui prezzi, ha scritto. La lezione vale anche altrove: uno strumento pensato per chiarire i costi può distorcere la decisione per cui è stato costruito.

Commenti 0

Fonti

6
  1. 01Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  2. 02Building an Ultra-High Throughput AI-SQL EngineEN
  3. 03Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06The pricing calculator made people more confused about pricingEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.