Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Quail dichiara 1 miliardo di token al minuto su una singola H100 mentre i costi di inferenza si dividono

Due nuovi motori di inferenza dichiarano guadagni di efficienza di un ordine di grandezza sullo stesso hardware GPU, mentre il nuovo abbonamento da 500 dollari di OpenAI e un'istantanea dei prezzi di settembre mostrano che il mercato per token sta ancora andando in direzioni opposte.

IA e modelliNotiziaChiara RomanoPubblicato: 30 settembre 20267 min di letturaFonti 10
Quail dichiara 1 miliardo di token al minuto su una singola H100 mentre i costi di inferenza si dividono

Il 30 settembre il Full Stack Data Lab ha pubblicato un blog che descrive Quail, un motore di inferenza costruito appositamente per AI-SQL, le estensioni SQL che permettono alle query di chiamare modelli linguistici di grandi dimensioni riga per riga. Il progetto dichiara più di un miliardo di token elaborati al minuto su una singola GPU H100 su una query con più join, e un guadagno di velocità di 1,84 volte in media geometrica rispetto a vLLM su un nuovo benchmark di carichi di lavoro AI-SQL.

Questo è il numero di punta. Ed è anche un numero ristretto.

Il dato del miliardo di token al minuto viene da una sola query che il team descrive come un caso in cui "la pianificazione è particolarmente importante", non da una media. Il dato più ampio del benchmark, 1,84 volte, è quello che gli autori presentano come risultato generale. Lo stesso giorno, Magnitude, azienda di Y Combinator S25, ha lanciato un motore di inferenza open source che, secondo l'azienda, ottimizza i propri kernel sull'hardware dell'utente prima che un modello giri. Il README su GitHub dichiara fino a 2 volte più veloce di llama.cpp, con il 92% in più di velocità in decodifica su Apple Metal e il 19% su CUDA, e il 27% in meno di memoria per agente. Il progetto è distribuito con licenza Apache 2.0 e funziona su Apple Silicon, NVIDIA, AMD o solo CPU.

Cosa confrontano davvero i numeri

Nessuna delle due dichiarazioni è un'affermazione generale sul prezzo dell'inferenza. Magnitude si confronta con llama.cpp, un motore general-purpose, e attribuisce il proprio vantaggio a kernel scritti a mano per le famiglie di modelli open-weight più diffuse. Quail si confronta con vLLM e attribuisce il proprio vantaggio all'ottimizzazione congiunta del piano di query SQL e del motore di inferenza, così che milioni di chiamate correlate al modello condividono le cache dei prefissi invece di arrivare come richieste separate.

Il post del Full Stack Data Lab, datato 24 settembre, espone direttamente il problema dei costi: una funzione AI dentro una query SQL valuta il proprio prompt riga per riga, quindi un filtro richiede una chiamata al modello per riga e un join ingenuo richiede una chiamata per ogni coppia di righe nei due input.

La query di benchmark del team, BIO-4, gira su 5.000 referti medici lunghi messi in join con 4.144 termini di reazione. Gli autori dicono che inviare quelle chiamate a un motore general-purpose come richieste separate comporta un costo elevato. La loro soluzione è pianificare a livello di query. Il blog di Modal sullo stesso lavoro mette l'economia in termini più crudi: meno di 6 centesimi per miliardo di token sull'hardware Modal per la query da un miliardo di token al minuto. Quel dato è un numero del fornitore per la propria piattaforma, e copre una sola forma di query, non un carico di lavoro rappresentativo.

Applicazioni di inferenza diverse producono carichi di lavoro di inferenza diversi, e AI-SQL non fa eccezione. Una query come quella sopra può produrre milioni di sequenze di migliaia di token.

I prezzi degli abbonamenti vanno nella direzione opposta

Sul fronte consumer, OpenAI è andata nella direzione opposta. Al DevDay di martedì l'azienda ha annunciato un livello Pro 500 a 500 dollari al mese, 300 dollari in più rispetto al precedente piano top, secondo Business Insider. Il livello include l'accesso al calcolo "Ultrafast" per GPT-6 Astra in ChatGPT Work e Codex, che secondo OpenAI è un aumento di velocità di 8 volte in Codex, e il massimo utilizzo incluso dall'azienda.

OpenAI ha anche riaperto il piano Pro da 200 dollari ma ha dimezzato la quota di calcolo.

La quota ora è 10 volte quella del piano Plus da 20 dollari, in calo rispetto al multiplo di 20 volte, e i messaggi in chat di GPT-6 Pro scendono da 200 a 100 a settimana. Thibault Sottiaux, responsabile engineering di Codex, ha scritto in un post su X di lunedì che i cambiamenti equivalgono alla metà della spesa in dollari API rispetto al piano precedente. "Volevo condividere questo cambiamento in anticipo così che possiate capirlo prima che vi inondiamo di buone notizie", ha scritto, come riportato da Business Insider. Le due mosse puntano in direzioni opposte: una quota più economica per token al livello da 200 dollari, un livello molto più costoso in cima. Gli abbonati Pro esistenti ricevono un credito una tantum durante la transizione.

Un'istantanea separata pubblicata il 30 settembre da AICostBudget copre 81 record di prezzi pubblici di 11 fornitori e indica una mediana di 1,32 dollari per l'input e 6 dollari per l'output per milione di token. L'intervallo osservato su 69 record con un valore scalare di input va da 0,10 a 30 dollari, e da 0,10 a 180 dollari per l'output. L'output è comunemente la componente più alta del prezzo di listino, con un rapporto mediano output-input di 5,0 volte.

Lo stesso dataset riporta uno sconto mediano del 90% sull'input in cache su 58 record comparabili e uno sconto mediano del 50% sull'input Batch su 44. È la parte del mercato in cui il prezzo effettivo può divergere nettamente dal prezzo di listino, ed è la parte che un confronto ingenuo dei costi di solito trascura.

Hardware, energia e il resto dello stack

Il lavoro sull'efficienza non riguarda solo i token al secondo. Un articolo presentato a SOSP '26 il 28 settembre descrive EnerTune, un sistema di serving che modella il consumo energetico per modello e quello dei modelli colocati su GPU condivise, poi usa un algoritmo di bin-packing attento all'energia per posizionarli e configurarli. Gli autori riportano un consumo energetico da 1,4 a 2,3 volte inferiore e una potenza assorbita da 1,3 a 2,6 volte inferiore rispetto alle baseline allo stato dell'arte, rispettando gli SLO di prestazione. La loro tesi è che ottimizzare solo l'utilizzo può far salire il consumo energetico, cosa che conta quando la bolletta non è solo per token.

Sul fronte robotica, MindOn ha presentato Mind-1 il 30 settembre, un modello di AI fisica che secondo l'azienda riduce la latenza di inferenza dei robot da 82ms a 32ms.

L'azienda nota che a una velocità dell'end-effector di 3 m/s, 10ms di latenza corrispondono a circa 3cm di movimento, abbastanza per influire su una presa precisa. È un mercato diverso dall'inferenza nei data center, ma il vincolo è lo stesso: latenza e costo sono determinati dall'intera pipeline, non dal solo modello.

Gli operatori di telecomunicazioni seguono una logica simile sui costi infrastrutturali. Light Reading ha riportato il 30 settembre che StarHub e M1 sono in trattative di fusione a Singapore, dove già condividono lo spettro 5G e la rete di accesso radio attraverso una joint venture chiamata Antina. In Nuova Zelanda, 2degrees e OneNZ hanno proposto di mettere in comune le rispettive reti radio in un'entità a proprietà congiunta. L'articolo cita la quota del 43% di Singtel nel mercato mobile di Singapore a giugno, contro il 22% di M1, il 21% di StarHub e il 14% di Simba, e dice che una StarHub-M1 combinata sarebbe su una scala simile a Singtel. L'accordo 5G tra China Telecom e China Unicom è citato come il più grande di questo tipo, con 1.500.000 stazioni base e risparmi dichiarati di 56.000.000.000 di dollari in capex.

Non ogni tentativo di tagliare i costi aggiungendo macchinari funziona. Un post pubblicato il 30 settembre da Gokul Kogan descrive come Pinecone abbia rimosso un calcolatore di prezzi basato sull'utilizzo dopo un test A/B. I visitatori che non vedevano il calcolatore avevano il 16% in più di probabilità di iscriversi e il 90% in più di probabilità di contattare l'azienda, senza un aumento dei ticket di supporto sui prezzi, secondo il post. In un sondaggio interno, sette dipendenti su dieci si aspettavano che la versione con il calcolatore andasse meglio. La lezione è un avvertimento per chi costruisce uno stimatore di costi per un servizio a prezzo per token: una stima sbagliata di un ordine di grandezza può far perdere del tutto il cliente.

Messi insieme, i fatti disegnano meno un prezzo unico in calo e più una serie di scommesse ingegneristiche. Quail scommette sul batching consapevole della query. Magnitude scommette sulla compilazione dei kernel per dispositivo. EnerTune scommette sul posizionamento attento all'energia. OpenAI sta testando quanto un piccolo numero di utenti pesanti sia disposto a pagare per la velocità, mentre il suo livello più economico riceve meno calcolo di prima. L'unico numero stabile in tutto il dossier è la forma della bolletta: i token di output costano più di quelli di input, gli sconti per cache e batch sono consistenti, e le cifre di punta di qualsiasi singolo benchmark descrivono una query, su una macchina, in un giorno.

Commenti 0

Fonti

10
  1. 01Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  2. 02Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  3. 03Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  4. 04ChatGPT's new plan costs $500 a monthEN
  5. 05AI API pricing index - September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Mind-1: Cutting robot inference latency from 82ms to 32msEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09The pricing calculator made people more confused about pricingEN
  10. 10Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.