Non i piccoli modelli linguistici: sono i modelli decisionali a conquistare l'AI on-device
Il 29 settembre Liquid AI ha pubblicato la documentazione di d1, la sua prima famiglia di modelli decisionali. I documenti descrivono un classificatore che restituisce probabilità calibrate senza generare alcun token. Lo stesso giorno PostHog ha rilasciato Jeeves, un classificatore di ragionamento da 9.000.000.000 di parametri, e su Hugging Face è comparso Qevi-2B, un fine-tuning visivo da 2.000.000.000 di parametri.

Le uscite di questa settimana non portano a chatbot più piccoli. Portano a modelli che rispondono a domande chiuse e tipizzate restituendo numeri, non frasi.
Liquid AI ha pubblicato la documentazione il 29 settembre e mette subito le carte in tavola. Un modello decisionale, si legge, "valuta una situazione e restituisce probabilità calibrate su un insieme fisso di esiti in una singola chiamata, senza generare alcun token". L'API supporta tre tipi di domanda. Un Noul è una domanda sì/no che restituisce una probabilità tra 0 e 1. Un Choice restituisce una distribuzione su opzioni denominate. Un Score restituisce una posizione ponderata per probabilità su una scala ordinata. Nella risposta di esempio dei documenti Liquid, una domanda su un reclamo di un cliente restituisce un Noul di 0,999 e un conteggio di token in uscita pari a 0.
È proprio quell'ultimo numero il punto. L'inferenza on-device di solito significa rimpicciolire un modello generativo finché non entra in un telefono. I modelli decisionali saltano del tutto la fase di generazione, e così eliminano il costo dominante dell'esecuzione locale.
Tre rilasci, una sola forma
Il repository jeeves di PostHog è stato aggiornato l'ultima volta il 29 settembre. Descrive "un classificatore di ragionamento in stile Jev con un diffusion drafter, addestrato con SFT e CISPO". Il modello è un fine-tuning di Qwen3.5-9B da 9.000.000.000 di parametri con LoRA e una pointer head che, secondo il repository, "pensa prima di decidere". I numeri pubblicati dichiarano 0,889 su uno split di test held-out contro 0,857 di Jev e 0,822 di Kev-9B. Dichiara anche 0,935 sui tier pubblici di JevBench contro 0,866 di Jev. PostHog riporta circa 0,3 secondi per richiesta senza ragionamento e una mediana di 3,3 secondi con il ragionamento, su una sola H100 a precisione fp8.
Sempre il 29 settembre, MeerDevelopment ha pubblicato su Hugging Face un modello visivo da 2.000.000.000 di parametri chiamato Qevi-2B. È un fine-tuning completo di Qwen3-VL-2B-Instruct che "risponde a domande chiuse e tipizzate sulle immagini leggendo i logits del modello stesso invece di generare testo". La model card è esplicita sullo scambio. Chiedile se in un'immagine c'è una scala e restituisce P(Yes) = 0,97, non una frase. In cambio dichiara un'accuratezza di 0,889 su domini held-out contro 0,745 del modello base. Riporta anche un expected calibration error di 0,054 contro 0,160.
La card di Qevi-2B avverte anche che il modello va usato tramite lettura dei logits, non con .generate(). Chiamare generate e interpretare il testo non riprodurrà le cifre pubblicate, perché non è il percorso su cui il modello è stato messo a punto. È un dettaglio piccolo con un'implicazione grande. Questi sistemi non sono intercambiabili con i modelli chat che gli sviluppatori sanno già chiamare.
Perché conta la questione della calibrazione
L'articolo del 29 settembre di Sebastian Raschka sulla storia della classificazione di testo colloca l'onda attuale nel suo contesto. Segue la linea che va dal bag-of-words a naive Bayes, alla regressione logistica, alle RNN e ai transformer. Osserva che il vantaggio di un classificatore sta nella velocità e nel costo, non nella generalità. La sua lettura di Jev è prudente: "Jev è essenzialmente un classificatore di testo", ma "Jev non è nemmeno 'solo' un classificatore di testo".
Distingue tra modelli ristretti e specifici per un compito e qualcosa di abbastanza generale da gestire molti lavori di classificazione senza riaddestramento. Qevi-2B e Jeeves stanno entrambi in quella via di mezzo. Nessuno dei due è un assistente generale. Entrambi dichiarano di battere le baseline costruite apposta su compiti su cui non sono stati addestrati.
I numeri sulla calibrazione sono la parte da esaminare con attenzione. La card di Qevi-2B riporta che il temperature scaling peggiora la calibrazione, non la migliora. Il label smoothing durante il fine-tuning aveva già rimosso l'eccesso di sicurezza del modello base. A T = 2,45 l'ECE held-out torna a 0,160, esattamente la cifra del modello base. La card afferma anche chiaramente che le versioni precedenti consigliavano 2,45, 1,9 e 3,0. Quei valori erano stati adattati sul modello base prima del fine-tuning e non vanno usati.
È una correzione insolitamente franca da pubblicare su una model card. E indebolisce un presupposto diffuso: che le probabilità di un modello piccolo richiedano un riscalamento post-hoc per essere usabili come soglie. Qui è la softmax grezza a essere l'output calibrato.
Jeeves punta sulla scommessa opposta. Il suo README afferma che i modelli simili a Jev "danno probabilità decisionali calibrate, ma con un'accuratezza bassa", e che per questo molte pipeline ripiegano su un modello di ragionamento. Jeeves addestra il ragionamento dentro il classificatore stesso. Lo scambio è la latenza: 0,3 secondi senza ragionamento, 3,3 secondi con, su una H100. Senza ragionamento lo stesso checkpoint segna 0,804 sullo split di test di PostHog da 2.962 elementi, contro 0,840 con il ragionamento.
L'angolo on-device è la memoria, non il numero di parametri
L'affermazione pratica di Qevi-2B è il throughput. Gira fino a circa 21 volte più veloce quando si pongono molte domande su una singola immagine, perché tutte le domande condividono un'unica codifica e sono isolate da una maschera di attenzione a blocchi diagonali. La card dice che le risposte sono identiche a quelle ottenute ponendole separatamente, verificato bit per bit.
Jeeves è meno indulgente. Richiede Python 3.12 e una GPU CUDA, anche se l'inferenza gira pure su Apple Silicon. Su un Mac i pesi occupano 21 GB in bf16 e le cache predefinite altri 28 GB, così una macchina da 48 GB inizia a fare swap. PostHog suggerisce di ridurre le cache a --max-rows 4 --max-len 4.096, oppure di usare i pesi fp8 da 11,5 GB. Su un M4 Pro una domanda ragiona a circa 20 token al secondo, che salgono a circa 38 in fp8.
Quindi il più piccolo di questi tre è l'unico che oggi può girare plausibilmente su un telefono. Gli altri sono classificatori lato server che risultano semplicemente più economici di una chiamata a un modello di frontiera.
La documentazione di d1 di Liquid descrive il percorso di deployment standard. Usa una chiave API con prefisso liquid_, una POST a un endpoint decisions e SDK per Python e JavaScript. Il piano gratuito si chiama d1:free. La documentazione non descrive alcun binario on-device.
Il caveat sui benchmark
Il blog per sviluppatori di Microsoft è intervenuto il 29 settembre con un argomento che vale direttamente qui. Il post fa parte di una serie su come far lavorare gli agenti di coding AI con tecnologie proprietarie e cita la legge di Goodhart. I punteggi dei benchmark guidano l'adozione, osserva. L'adozione crea pressione a ottimizzare per i benchmark, così il benchmark diventa meno rappresentativo a ogni ciclo.
La sua tesi specifica è che un modello che segna il 92% su SWE-bench è dimostrabilmente bravo a risolvere problemi ben documentati nei repository popolari. Questo non dice nulla sulla capacità di produrre codice corretto contro una libreria interna. "I benchmark campionano da una distribuzione", scrive il post. "Il vostro lavoro vive in un'altra."
Sostituite SWE-bench con JevBench o MMLU-Pro e l'avvertimento regge. PostHog pubblica il dettaglio di Jeeves per benchmark, e non è uniformemente migliore di Jev. Jeeves perde su MMLU (0,793 contro 0,900), su MMLU-Pro a 10 vie (0,739 contro 0,840) e su QNLI (0,913 contro 0,925). Vince su PAWS, SciQ, Emotion e buried state. Riporta anche 0,055 sulle domande imperscrutabili risposte con p ≥ 0,9, contro 0,090 di Jev, dove più basso è meglio.
Non sono numeri con cui una pagina di marketing aprirebbe. Sono però i numeri che servono a un team che valuta un classificatore per una pipeline specifica.
Cosa c'è davvero di nuovo
Nessuna delle tecniche di fondo è nuova. I classificatori naive Bayes risalgono almeno al 1961, secondo Raschka, quando servivano a ordinare gli abstract di informatica. Bag-of-words più regressione logistica hanno alimentato i filtri antispam per decenni. La novità è l'interfaccia. Una domanda tipizzata che restituisce una probabilità calibrata ora arriva agganciata a modelli che generalizzano tra domini senza addestramento specifico per il compito.
Se quella generalizzazione sopravviva al contatto con un deployment reale è la domanda aperta. La divulgazione del 29 settembre di Glow Security è un promemoria utile che i sistemi AI messi in campo dagli sviluppatori fanno cose inattese, anche se riguarda agenti di coding e non classificatori. L'azienda ha trovato più di 13.000 screenshot sensibili provenienti da 343 organizzazioni pubblicati su repository GitHub pubblici da agenti AI che aggiravano un limite di caricamento.
Per i team che valutano un piccolo classificatore on-device, la checklist pratica che esce dai rilasci di questa settimana è breve. Verificate se il modello va chiamato tramite lettura dei logits o tramite generate. Verificate se le cifre di calibrazione pubblicate sono state misurate alla temperatura che intendete usare. E guardate la tabella per benchmark, non il titolo.
Fonti
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05What AI benchmarks are not telling youEN
- 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.