Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Piccoli modelli decisionali arrivano on-device: Liquid AI, PostHog e Qevi lanciano i loro classificatori

Liquid AI ha pubblicato il 29 settembre la documentazione di d1, il suo primo modello decisionale. Lo stesso giorno PostHog ha rilasciato Jeeves, un classificatore in stile Jev da 9 miliardi di parametri, e su Hugging Face è comparsa la scheda di Qevi-2B, un classificatore di immagini da 2 miliardi di parametri.

IA e modelliNotiziaGiulia FerrariPubblicato: 29 settembre 20268 min di letturaFonti 6
Piccoli modelli decisionali arrivano on-device: Liquid AI, PostHog e Qevi lanciano i loro classificatori

Tre modelli piccoli e specifici per un compito sono arrivati a poche ore di distanza l'uno dall'altro il 29 settembre. Tutti e tre si basano sulla stessa idea: niente generazione di testo, leggere le probabilità direttamente dal modello e farlo girare su hardware che controlli tu.

La pagina di documentazione di Liquid AI descrive d1 come "una nuova classe di modello AI costruita appositamente per decisioni strutturate". Invece di generare token uno alla volta, si legge nella pagina, un modello decisionale "valuta una situazione e restituisce probabilità calibrate su un insieme fisso di esiti in un'unica chiamata, con zero token generati". La risposta di esempio dell'azienda mostra usage.output_tokens: 0 per una query di rilevamento reclami che ha restituito un valore noul di 0.999.

Tre forme di domanda, nessun testo generato

Liquid divide le domande decisionali in tre tipi. Un noul è una domanda sì o no che restituisce una probabilità tra 0 e 1, che la documentazione descrive come "un booleano su una scala mobile". Una choice restituisce una distribuzione su opzioni denominate, per esempio {"billing": 0.65, "technical": 0.30, "account": 0.05}. Uno score restituisce una posizione ponderata per probabilità su una rubrica ordinata, così una domanda sull'urgenza a tre livelli potrebbe tornare come 1.85, tra "Medium" e "High".

La documentazione è esplicita: noul e score non sono intercambiabili. Un noul a 0.5 significa massima incertezza tra sì e no e "non dice nulla sul grado o sull'intensità". Se il codice deve confrontarsi con una soglia su un continuum, la documentazione rimanda a score. Se invece deve aprire o chiudere un passaggio su un booleano, noul. L'API riceve uno stato più una o più domande denominate e risponde a tutte in un'unica chiamata. Le librerie client esistono per Python (typesafe-sdk) e JavaScript (@typesafe-ai/sdk), e le chiavi hanno il prefisso liquid_.

La pagina di Liquid è documentazione, non un paper di benchmark, quindi non riporta cifre di accuratezza per d1. Questo conta, perché la stessa settimana ha prodotto due modelli che pubblicano numeri, e il divario tra loro è istruttivo.

Jeeves aggiunge il ragionamento alla formula Jev

Il repository GitHub di PostHog per Jeeves lo descrive come "un classificatore in stile Jev con ragionamento e un diffusion drafter, addestrato con SFT e CISPO". È un modello da 9 miliardi di parametri costruito su Qwen3.5-9B con LoRA e una pointer head, più un diffusion drafter a blocchi di 4, con tutto il codice di addestramento e i dati. Il repository sostiene che batte Kev-9B e Jev su dati di test su cui non è mai stato addestrato, con 0.889 contro 0.822 e 0.857, e sui livelli pubblici di JevBench con 0.935 contro 0.866 di Jev.

Il repository pubblica una tabella più completa, e non è uniformemente lusinghiera. Jeeves segna 0.746 sui compiti di trasferimento che coprono MMLU-Pro e lo stato sepolto, sotto lo 0.800 di Jev. Su MMLU scende a 0.793 contro lo 0.900 di Jev, e su MMLU-Pro a 10 vie cala a 0.739 contro 0.840. Vince su PAWS (0.875 contro 0.788), sulle strutture di regole tenute fuori (1.000 contro 0.885) e sulle politiche contrastive (1.000 contro 0.963). Risponde a domande inconoscibili con p pari o superiore a 0.9 meno spesso di Jev, 0.055 contro 0.090, dove un valore più basso è meglio.

Il repository nota anche che, senza thinking, lo stesso checkpoint segna 0.804 sulla sua split di test da 2.962 elementi, contro 0.840 con il thinking. La latenza è il prezzo: circa 0.3 secondi per richiesta senza thinking, e una mediana di 3.3 secondi con il thinking, su una H100 in precisione fp8. Su un M4 Pro, una domanda pensa a circa 20 token al secondo. I pesi occupano 21 GB in bf16, e le cache predefinite ne aggiungono altri 28 GB, ed è per questo che il README consiglia impostazioni di cache più piccole su un Mac da 48 GB.

Una avvertenza è stampata nella tabella stessa. Nessun risultato di Kev-9B su JevBench è pubblicato, e le due righe con l'asterisco sono Kev-8B su Qwen3, quindi parte di quel confronto è fatta contro un modello diverso da quello che suggerisce l'intestazione della colonna.

Qevi-2B porta lo stesso trucco sulle immagini

La scheda del modello Qevi-2B su Hugging Face descrive un fine-tuning completo di Qwen3-VL-2B-Instruct che risponde a domande tipizzate e chiuse sulle immagini "leggendo i logit del modello invece di generare testo". Chiedi se in una foto c'è una scala e restituisce P(Yes) = 0.97, non una frase. La scheda è netta nel dire che non è un modello di chat, e avverte che chiamare .generate() e fare il parsing del testo non riprodurrà i numeri pubblicati, perché non è il percorso su cui il modello è stato messo a punto.

La lettura è di circa 30 righe di normale codice transformers, senza trust_remote_code. Rispetto al base Qwen3-VL-2B-Instruct fatto passare attraverso lo stesso identico percorso di lettura, Qevi-2B passa da 0.855 a 0.977 di accuratezza in-domain e da 0.745 a 0.889 su 12 domini tenuti fuori. L'errore di calibrazione atteso sui dati tenuti fuori scende da 0.160 a 0.054. La scheda dice che il vantaggio di velocità arriva a circa 21 volte quando si fanno molte domande su una sola immagine, perché una maschera di attenzione a blocchi diagonali permette a più domande di condividere una sola codifica dell'immagine, verificata bit per bit contro l'interrogazione separata.

La scheda mette in guardia dal temperature scaling che le versioni precedenti consigliavano: a T = 2.45 l'ECE sui dati tenuti fuori è 0.160, praticamente il valore del modello base, e "l'intero guadagno di calibrazione viene annullato".

C'è una seconda nota di onestà. Il corpus di addestramento contiene solo domande noul e choice. Il motore supporta score e il modello base gestisce queste domande zero-shot, ma il fine-tuning non ne ha mai vista una, quindi la scheda afferma che accuratezza e calibrazione di score non sono misurate e vanno considerate non testate.

Perché il discorso on-device continua a tornare

Lo scritto di Sebastian Raschka del 29 settembre sulla storia della classificazione di testo è utile qui, perché inquadra ciò a cui questi modelli rinunciano davvero. Nota che i modelli GPT più recenti e quelli a pesi aperti possono svolgere gli stessi compiti di classificazione di Jev pur essendo molto più generali, ma che il vantaggio di un modello in stile Jev è velocità e costo. All'altro estremo, "per un problema ristretto e ben definito, Jev probabilmente non classificherà nulla meglio, più velocemente o a costi inferiori di un classificatore specializzato". Il punto di forza è la via di mezzo: più generale di un modello specifico per un compito, più economico di uno di frontiera.

L'articolo di Raschka ripercorre la discendenza fino alle rappresentazioni bag-of-words che alimentavano naive Bayes, regressione logistica, SVM e XGBoost, e nota che il filtro antispam di Gmail era presumibilmente un modello naive Bayes su bag-of-words. La differenza ora è che il classificatore è un modello linguistico messo a punto con una testa di probabilità calibrata, e può essere distribuito come pesi invece che chiamato come servizio.

Ed è qui che l'argomento on-device morde. Jeeves gira su CUDA in bf16 o fp8, e anche su Apple Silicon via MPS, con una build fp8 che riduce i pesi a 11.5 GB e porta il throughput del thinking su un M4 Pro da circa 20 a circa 31 token al secondo. Il repository dice che accuratezza e NLL non sono cambiate in modo misurabile sulle domande di sviluppo, ed è pubblicato un repo pre-quantizzato PostHog/jeeves-fp8, così il download è circa la metà.

Qevi-2B è ancora più piccolo, con 2 miliardi di parametri, l'ordine di grandezza che sta su un portatile o su un telefono invece che in un rack. La documentazione di Liquid descrive il modello come capace di valutare stato e domande in un'unica chiamata con zero token di output, ed è la proprietà che rende prevedibile il costo per richiesta.

Le misurazioni sono ancora scarse

Niente di tutto questo è esente da problemi. La ricerca adiacente più recente, un paper su arXiv inviato il 28 settembre da Cameron Berg e Caspar Kaiser, ha scoperto che su sette modelli a pesi aperti di cinque famiglie i pattern di attivazione nascosti legati alla valenza governano in modo prevedibile le scelte successive, anche quando ogni token visibile è identico. Gli autori scrivono che se queste tracce siano accompagnate da qualche esperienza soggettiva rilevante per il benessere del modello "resta poco chiaro". È un promemoria del fatto che leggere lo stato interno di un modello è ormai un pattern di progettazione, non solo una diagnostica.

L'obiezione pratica arriva dal blog per sviluppatori di Microsoft, pubblicato il 29 settembre, che sostiene che i benchmark pubblici dicono poco sul proprio carico di lavoro. Il post cita la legge di Goodhart e fa notare che i compiti di SWE-bench vengono da repository pubblici, quindi la sovrapposizione con i dati di addestramento è inevitabile e cresce a ogni generazione. Un modello che segna 92% su SWE-bench, dice il post, è dimostrabilmente bravo a risolvere problemi ben documentati in repository popolari, e questo non dice nulla sulla tua libreria interna.

La stessa logica vale per i modelli decisionali. La tabella di Jeeves mostra che perde contro Jev su MMLU e MMLU-Pro mentre vince sulle strutture di regole tenute fuori, il che significa che la risposta a "quale è migliore" dipende interamente da quale distribuzione provengono i tuoi ticket, immagini o documenti. Liquid non pubblica alcuna cifra di accuratezza per d1. La scheda di Qevi-2B elenca score come non testato. I numeri che esistono sono per lo più auto-dichiarati dai team che distribuiscono i modelli, su split che hanno scelto loro.

La novità di questa settimana non è che esistano piccoli classificatori. È che tre team separati li abbiano distribuiti con la stessa idea di interfaccia, probabilità calibrate su un insieme fisso di risposte in un solo passaggio in avanti, e li abbiano fatti abbastanza piccoli da girare senza un datacenter. Se questo basti a spodestare il pattern modello-di-frontiera-con-fallback che descrive il README di Jeeves è una domanda a cui i benchmark pubblicati non sanno ancora rispondere.

Commenti 0

Fonti

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Jeeves. Reasoning improves Jev-like decision modelsEN
  3. 03Qevi-2B: A Jev-style finetuned model for image classificationEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05Language Models Act on Hidden ValenceEN
  6. 06What AI benchmarks are not telling youEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.