I modelli decisionali rinunciano a generare testo: la piccola IA on-device passa ai logit
Due rilasci del 29 settembre portano la stessa idea: i modelli piccoli devono restituire probabilità calibrate invece di generare token. Il d1 di Liquid AI e un fine-tune di Qwen3-VL-2B chiamato Qevi-2B funzionano entrambi così.

Sono usciti a sei minuti di distanza, martedì. Liquid AI ha pubblicato la documentazione di d1 alle 20:09 UTC e lo ha definito il suo primo modello decisionale. MeerDevelopment ha caricato Qevi-2B su Hugging Face alle 20:16 UTC. Nessuno dei due genera testo.
La documentazione di Liquid AI spiega il meccanismo senza giri di parole. Un modello decisionale, si legge, "valuta una situazione e restituisce probabilità calibrate su un insieme fisso di esiti in una sola chiamata, con zero token generati". L'API espone tre forme di domanda: noul (sì/no, restituisce un float), choice (sceglie una tra opzioni denominate) e score (una posizione ponderata per probabilità su una rubrica ordinata). Nell'esempio della documentazione, la stringa "I have been waiting over three weeks for my order and nobody has responded to my emails" restituisce un noul di 0.999 per la domanda "Is this message a complaint from the customer?". La risposta riporta anche usage.output_tokens pari a 0.
Leggi i logit, salta la frase
Qevi-2B arriva alla stessa destinazione per un'altra strada. È un fine-tune completo di Qwen3-VL-2B-Instruct. Risponde a domande chiuse sulle immagini leggendo i logit dell'LM-head nella posizione in cui il modello inizierebbe a rispondere, limitatamente ai token di risposta ammessi. Chiedigli se in una foto c'è una scala e restituisce P(Yes) = 0.97. La model card avverte che chiamare .generate() e analizzare il testo non riprodurrà i numeri pubblicati, "perché non è il percorso su cui il modello è stato messo a punto".
I guadagni dichiarati sono grandi e specifici. Il Qwen3-VL-2B di base passa attraverso lo stesso identico percorso di lettura. Rispetto a esso, Qevi-2B segna 0.977 di accuratezza in-domain contro 0.855, e 0.889 su domini tenuti fuori dall'addestramento contro 0.745. L'errore atteso di calibrazione sui dati held-out scende da 0.160 a 0.054. La card riporta anche un'inferenza circa 21 volte più veloce quando si pongono molte domande su una sola immagine, perché il raggruppamento delle domande condivide una singola codifica dell'immagine.
Un'avvertenza merita una lettura attenta. Il corpus di addestramento copre solo domande noul e choice, quindi il tipo score non è testato. E la card ritira esplicitamente le raccomandazioni precedenti sulla temperatura. A T = 2.45 l'ECE held-out torna a 0.160 e cancella l'intero guadagno di calibrazione.
Piccoli, veloci e puntati sulla classificazione
Questo è l'argomento on-device nella sua forma attuale. La guida di Ailoitte allo sviluppo di modelli piccoli, pubblicata nelle ultime 12 ore, lo inquadra in termini di costi. Servire un modello da 7.000.000.000 di parametri può essere "da 10 a 30 volte più economico in latenza, energia e calcolo" rispetto a un modello da 70.000.000.000 a 175.000.000.000 di parametri, si legge, citando un position paper NVIDIA del 2025. La guida osserva anche che i modelli piccoli girano on-premises, il che conta per i dati sanitari e finanziari.
Il saggio di Sebastian Raschka del 29 settembre sulla classificazione di testo arriva allo stesso punto dalla direzione opposta. Descrive Jev come essenzialmente un classificatore di testo. Jev ha causato "un vero fenomeno culturale nelle comunità tecniche nelle ultime 2 settimane", scrive. È più veloce ed economico dei LLM generali nella classificazione, ma più generale dei modelli specifici per compito. Ci tiene a precisare di non avere alcuna affiliazione con Jev né accesso gratuito ad esso.
Il repository jeeves di PostHog, aggiornato il 29 settembre, aggiunge il ragionamento a questo schema. Jeeves è un modello simile a Jev da 9.000.000.000 di parametri, costruito su Qwen3.5-9B con LoRA e una pointer head, addestrato con SFT e CISPO. Riporta 0.889 complessivo su uno split di test held-out contro 0.857 di Jev e 0.822 di Kev-9B. Riporta 0.935 sui tier pubblici di JevBench contro 0.866 di Jev. Il ragionamento costa tempo: circa 3,3 secondi di mediana per richiesta su una H100 in fp8, contro 0,3 secondi senza.
I numeri non puntano tutti nella stessa direzione. Jeeves batte Jev nel complessivo ma perde su Transfer (0.746 contro 0.800) e su MMLU-Pro 10-way (0.739 contro 0.840). Risponde inoltre al 5,5% delle domande irrisolvibili con p ≥ 0.9. È meglio del 9,0% di Jev ma peggio dello 0,0% di Kev-9B.
Le previsioni di mercato per la categoria variano molto, e vale la pena segnalarlo invece di farne una media. MarketsandMarkets stima il mercato degli SLM a 930.000.000 di dollari nel 2025, in salita a 5.450.000.000 di dollari entro il 2.032 con un CAGR del 28,7%. wizr.ai cita una cifra di 7.760.000.000 di dollari nel 2.023, in crescita del 15,6% dal 2.024 al 2.030. Le due stime descrivono mercati di dimensioni diverse.
La coppia di rilasci del 29 settembre suggerisce qualcosa di più ristretto e concreto. Per il lavoro che assomiglia alla classificazione, il formato di output stesso viene ridisegnato intorno alle probabilità, non alla prosa.
Fonti
6- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05Small Language Model Development: Lower Cost, More PrivacyEN
- 06The Rise of Small Language Models in Enterprise AI Adoption [2026]EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.