Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I modelli decisionali in stile Jev passano on-device: Qevi-2B e d1 puntano alle domande chiuse

Un classificatore di immagini da 2 miliardi di parametri pubblicato su Hugging Face martedì sostiene di rispondere a domande chiuse sulle foto fino a 21 volte più velocemente del modello base da cui è stato messo a punto. È l'ultimo segno che il formato dei modelli decisionali in stile Jev si sta diffondendo oltre il testo.

IA e modelliNotiziaGiulia FerrariPubblicato: 29 settembre 20265 min di letturaFonti 6
I modelli decisionali in stile Jev passano on-device: Qevi-2B e d1 puntano alle domande chiuse

La model card di Qevi-2B, pubblicata il 29 settembre, descrive un fine-tuning completo di Qwen3-VL-2B-Instruct che non genera mai una frase. Chiedigli se in un'immagine c'è una scala e restituisce P(Yes) = 0.97, letto direttamente dai logit della testa del modello linguistico nella posizione in cui il modello base avrebbe iniziato la risposta. La card avverte che chiamare .generate() e interpretare il testo non riprodurrà i numeri riportati, perché non è il percorso su cui il modello è stato messo a punto.

I guadagni dichiarati riguardano accuratezza e calibrazione, non la capacità grezza.

Confrontato con Qwen3-VL-2B-Instruct base fatto passare dallo stesso identico percorso di lettura sulle stesse immagini, Qevi-2B segna 0.977 in-domain contro 0.855, e 0.889 su 12 domini di immagini tenuti fuori dall'addestramento contro 0.745. L'errore atteso di calibrazione sui dati tenuti fuori scende da 0.160 a 0.054.

Un solo passaggio in avanti, molte domande

Il vantaggio di velocità viene dal raggruppamento delle domande. Il motore qevi incluso condivide una singola codifica dell'immagine tra più domande e le isola con una maschera di attenzione a blocchi diagonali. Così, dice la card, le risposte sono identiche a quelle che si otterrebbero ponendo le domande separatamente, verificate bit per bit. Il repository avverte anche che il tipo di domanda score, una valutazione ordinata su una rubrica, non è mai stato nel corpus di addestramento, che conteneva 57.000 domande noul (sì/no) e 28.500 domande choice. Accuratezza e calibrazione della tipologia score sono descritte come non misurate e non testate.

Quel vocabolario di tipi di domanda non è un'invenzione di Qevi. La documentazione sui modelli decisionali di Liquid AI, aggiornata il 29 settembre, definisce le stesse tre forme: noul per una probabilità sì/no tra 0 e 1, choice per una distribuzione su opzioni nominate, e score per una posizione ponderata per probabilità su una scala ordinata. I documenti sono espliciti: i modelli decisionali generano zero token. Una richiesta di esempio per la classificazione dei reclami restituisce noul: 0.999 con output_tokens: 0.

Vale la pena citare come Liquid inquadra la scelta tra i tipi, perché si sovrappone al discorso on-device. "Se il tuo codice si dirama su una categoria, usa un Choice. Se confronta con una soglia su un continuum, usa uno Score. Se fa da cancello su un booleano, usa un Noul", dice la documentazione. Un classificatore che restituisce un float calibrato è più facile da sogliare in un'app mobile rispetto a un modello generativo la cui risposta va interpretata.

La versione che ragiona va nella direzione opposta

Non tutti spingono verso meno parametri e meno riflessione. Il repository Jeeves di PostHog, pubblicato su GitHub il 29 settembre, prende un modello simile a Jev da 9B (Qwen3.5-9B con LoRA e una pointer head) e lo addestra con CISPO a pensare prima di decidere. Il README riporta 0.889 su uno split di test tenuto fuori contro 0.857 di Jev e 0.822 di Kev-9B, e 0.935 sui livelli pubblici di JevBench contro 0.866 di Jev.

Il prezzo da pagare è la latenza.

Jeeves impiega circa 0,3 secondi per richiesta senza pensare e una mediana di 3,3 secondi con il ragionamento attivo, su una H100 in precisione FP8. Il README nota che lo stesso checkpoint segna 0.804 sullo split di test degli autori senza pensare contro 0.840 con il pensiero. Su un M4 Pro una domanda ragiona a circa 20 token al secondo, o circa 38 in FP8. I pesi occupano 21 GB in bf16, o 11,5 GB quantizzati, il che secondo il README richiede un Mac da 48 GB e cache più piccole per evitare lo swapping.

È un obiettivo di distribuzione diverso da Qevi-2B, e i due progetti tirano in direzioni opposte sullo stesso formato di fondo.

Da dove viene il formato

L'explainer di Sebastian Raschka del 29 settembre ripercorre la linea che va dalle rappresentazioni bag-of-words e dal naive Bayes alle reti ricorrenti e convoluzionali fino ai classificatori dell'era transformer, e sostiene che Jev sta in una posizione intermedia scomoda. Gli LLM allo stato dell'arte sanno fare le stesse attività di classificazione "pur essendo capaci di un processo decisionale molto più generale", scrive, ma Jev le gestisce più in fretta e a costi minori. All'estremo opposto, un classificatore costruito apposta lo eguaglia su un problema ben definito. Raschka dichiara di non essere affiliato a Jev e di non aver ricevuto accesso gratuito.

La sua ricostruzione offre anche un utile controllo di sanità sull'entusiasmo. La classificazione di testi con il naive Bayes risale almeno al 1961, quando serviva a ordinare abstract di informatica, e Raschka nota che il filtro antispam originale di Gmail usava presumibilmente un modello naive Bayes su una rappresentazione bag-of-words. Leggere i logit in una posizione fissa è una scelta di impianto più recente, non un'idea nuova su cosa sia la classificazione.

La calibrazione è il dato da tenere d'occhio

Per l'uso on-device, il numero interessante nella card di Qevi-2B non è l'accuratezza ma la tabella di calibrazione. Gli autori riportano che applicare il temperature scaling sopra il fine-tuning peggiora la calibrazione, perché il label smoothing in addestramento ha già rimosso l'eccesso di sicurezza del modello base: l'ECE è 0.054 a T = 1.0, 0.051 a T = 1.5, e torna a 0.160 a T = 2.45, che è in sostanza il valore del modello base sui dati tenuti fuori. Le versioni precedenti della card che consigliavano 2.45 erano state adattate sul modello base prima del fine-tuning, e ora la card dice che non vanno usate.

Valgono due avvertenze.

Sia Qevi-2B sia Jeeves pubblicano i propri numeri, e le colonne Jev e Kev nel README di Jeeves sono descritte come i numeri pubblicati da Kev, limitati agli stessi item pubblici del benchmark; il livello del giudice sigillato è escluso. Una replica indipendente di uno qualsiasi di questi valori non è nel dossier.

C'è anche una discussione aperta su cosa significhino davvero i punteggi dei benchmark. Un post di Microsoft for Developers del 29 settembre cita la legge di Goodhart, "quando una misura diventa un obiettivo, cessa di essere una buona misura", e punta alla sovrapposizione di dati tra i task dei benchmark pubblici e i corpus di addestramento. Un modello che segna il 92% su SWE-bench, sostiene il post, "non dice però nulla sulla capacità di quello stesso modello di produrre codice corretto quando lavora con la tua libreria di autenticazione interna". Lo stesso scetticismo vale per i livelli di JevBench.

La direzione di marcia, però, è abbastanza chiara. Un modello visivo da 2B che restituisce probabilità sogliate dai logit, un modello testuale da 9B che ragiona prima di classificare e un'API ospitata che fattura zero token di output sono tre implementazioni della stessa scommessa: che molte decisioni in produzione non hanno affatto bisogno di prosa generata.

Commenti 0

Fonti

6
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.