I modelli decisionali diventano piccoli: Qevi-2B, Liquid d1 e Jeeves portano la classificazione sul dispositivo
Il 29 settembre è stato pubblicato su Hugging Face un modello visivo da 2 miliardi di parametri che risponde a domande sì/no leggendo i propri logit, senza generare testo. Dichiara un'accuratezza in-domain di 0,977 e un'inferenza fino a 21 volte più veloce quando si pongono molte domande su una sola immagine.

Il modello si chiama Qevi-2B, un fine-tuning completo di Qwen3-VL-2B-Instruct. Gli autori lo descrivono come "non un modello conversazionale": se chiedi se in una foto c'è una scala, restituisce P(Sì) = 0,97 invece di una frase. La scheda pubblicata indica un'accuratezza in-domain di 0,977 contro 0,855 del modello base. Su domini esterni il punteggio è 0,889 contro 0,745, e l'errore di calibrazione atteso sui dati esterni è 0,054 contro 0,160. L'affermazione sulla velocità si basa sul raggruppamento delle domande. Più domande condividono una sola codifica dell'immagine, isolate da una maschera di attenzione a blocchi diagonali, verificata bit per bit rispetto alla formulazione separata.
È un solo artefatto in una categoria nata da due settimane che ora ha SDK, benchmark, una suite di benchmark concorrente e almeno un clone open source. TypeSafe ha rilasciato Jev il 15 settembre, secondo Casco, che ha misurato la scalata del modello allo status di meme in "meno di quarantotto ore".
Liquid dà un nome alle primitive
Liquid AI ha pubblicato il 29 settembre la documentazione di d1, che definisce il suo primo modello decisionale. I documenti sono insolitamente espliciti su a cosa servono questi sistemi. Un modello decisionale non genera token uno alla volta. Valuta uno stato e restituisce probabilità calibrate su un insieme fisso di esiti "in una singola chiamata con zero token generati".
Liquid definisce tre tipi di domanda diventati l'interfaccia di fatto. Noul è una domanda sì/no che restituisce una probabilità tra 0 e 1; i documenti usano come esempio un controllo spam che restituisce 0,92. Choice restituisce una distribuzione su opzioni nominate, per esempio {"billing": 0,65, "technical": 0,30, "account": 0,05} per l'instradamento dei ticket. Score restituisce una posizione ponderata per probabilità su una rubrica ordinata. Così "quanto è urgente questo?" su tre livelli può tornare come 1,85, tra Medium e High. Liquid consiglia di scegliere il tipo in base a ciò che fa il codice subito dopo: se si dirama su una categoria, usare Choice; se confronta con una soglia, usare Score; se apre un cancello su un booleano, usare Noul.
L'azienda mette anche in guardia da una confusione comune. Un noul a 0,5, secondo la documentazione, significa massima incertezza tra sì e no e "non dice nulla sul grado o sull'intensità". Per misurare il grado serve Score con livelli definiti.
Jeeves: ragionamento sopra, e un conto da 3,3 secondi
La critica più interessante alla categoria arriva da PostHog, che ha pubblicato Jeeves il 29 settembre. È un modello da 9 miliardi di parametri simile a Jev, costruito su Qwen3.5-9B con LoRA e una pointer head, addestrato con SFT e CISPO in modo che ragioni prima di decidere. Il repository è diretto sul compromesso che corregge. "I modelli simili a Jev danno probabilità decisionali calibrate, ma con bassa accuratezza", dice il README, ed è per questo che molte pipeline ripiegano già su un modello di ragionamento.
Jeeves riporta 0,889 su uno split di test esterno e fuori dominio di 2.962 elementi, contro 0,857 di Jev e 0,822 di Kev-9B. Il caveat è che le colonne Kev e Jev sono numeri pubblicati da Kev. Sui 231 elementi pubblici di JevBench dichiara 0,935 contro 0,866 di Jev; sul livello difficile da 111 elementi, 0,865 contro 0,730. Il suo errore di calibrazione sugli elementi pubblici di JevBench è 0,037. Lo stesso checkpoint segna 0,804 senza ragionamento contro 0,840 con il ragionamento.
Poi c'è il costo. PostHog misura circa 0,3 secondi per richiesta senza ragionamento e una mediana di 3,3 secondi con il ragionamento, su una H100 a precisione FP8. Nota che troncare la catena accorcia quel tempo. L'inferenza gira anche su Apple Silicon con 48GB o più, il che conta se lo scopo di un piccolo modello decisionale è tenere il lavoro in locale.
I numeri dei modelli base nella tabella di Jeeves non sono tutti confrontabili: il repository segna con un asterisco il dato JevBench di Kev-9B. La nota dice che nessun risultato JevBench di Kev-9B è pubblicato e che i numeri mostrati sono quelli di Kev-8B su Qwen3.
Chi paga davvero per un classificatore
L'argomento produttivo più chiaro viene da Evan Schwartz, che gestisce Scour, un feed di contenuti personalizzato. In un post del 29 settembre racconta di porre 54 domande su circa 1,1 milioni di documenti al mese: 50 noul, 3 choice e 1 score. Sono circa 2.150 token, inclusi circa 260 token di sovraccarico fisso. Le sue domande ora costituiscono circa l'88% dei token di input, inviate alla lettera a ogni richiesta. La spesa totale è sotto i 150 dollari al mese. Dice che far passare gli stessi contenuti anche dal più economico degli LLM sarebbe insostenibile per un progetto autofinanziato.
La sua richiesta è precisa: il prompt caching, o la possibilità di registrare insiemi di domande riutilizzabili.
Nota di non raggruppare più post per richiesta. Cita l'avvertimento documentato che l'accuratezza cala quando lo stato cresce con contenuti non correlati. Suggerisce un'API che accetti molte domande e molti input come alternativa che evita la penalità del raggruppamento. Altri stanno già riempiendo i vuoti intorno a TypeSafe. Un progetto GitHub chiamato Jeb, aggiornato il 29 settembre, trasforma qualsiasi endpoint compatibile OpenAI in un modello decisionale. Legge i logprob dei token e restituisce JSON strutturato su POST /v1/systemone, con lo stesso formato di richiesta da CLI. Il suo README è schietto sul prerequisito: un endpoint può essere compatibile OpenAI per la chat ordinaria pur mancando delle log probabilities che Jeb richiede, quindi conviene verificare quella capacità prima di scegliere un provider.
Il problema dei benchmark arriva presto
Casco, un'azienda di sicurezza, ha fatto passare 2.449 risultati attraverso otto modelli, tra cui Jev, Claude e GPT. Ha confrontato i punteggi di severità CVSS 3.1 con i propri riferimenti pubblicati. Ogni modello ha sovrastimato in media. Jev ha assegnato 550 punteggi critici a un dataset che contiene 55 risultati critici pubblicati, con 500 di quei 550 sotto la soglia critica nel riferimento di Casco. GPT-6 Astra è stato il più accurato nel complesso con 1,92 punti di errore assoluto medio; Jev si è classificato settimo a 3,40, davanti a Haiku a 3,94.
Gli errori con segno puntano tutti nella stessa direzione: Jev +3,30 punti, Haiku +3,89, Astra +1,18, su una scala da dieci punti. La lettura di Casco è che un output strutturato e calibrato non ha reso i giudizi di severità più accurati rispetto al suo riferimento. Dice che il conseguente "security slop" costa tempo agli ingegneri. Lo studio ha usato le stesse evidenze del risultato per ogni modello, senza la policy di scoring di Casco né il contesto applicativo interno, quindi misura la chiamata di giudizio e non l'aritmetica.
C'è anche una questione di manutenzione a cui nessuno ha risposto. Jeeves è un fine-tuning su Qwen3.5-9B con un diffusion drafter e un'API compatibile con Jev; Qevi-2B è un fine-tuning di Qwen3-VL-2B. Entrambi dipendono da modelli base che verranno superati. Il richiamo della categoria è che puoi aggiungere domande senza riaddestrare. È vero per la superficie dell'API, non per i pesi.
Il 29 settembre Sebastian Raschka ha pubblicato una lunga storia tecnica della classificazione di testo. Va dal bag-of-words attraverso RNN, CNN e transformer fino a quelli che chiama API simili a Jev, esplicitamente per "demistificare l'hype". La sua conclusione è la meno eccitante e probabilmente la più utile. Per un problema ristretto e ben definito, un modello in stile Jev non batterà un classificatore specializzato in accuratezza, velocità o costo. Il suo punto di forza è la generalità nello slot della classificazione, e questa è un'affermazione molto più piccola di quanto suggerisca la reazione.
Fonti
12- 01Qevi-2B: A Jev-style finetuned model for image classificationEN
- 02d1: Liquid AI's First Decision ModelEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04Please add prompt caching to Jev-style modelsEN
- 05Jeb: Turn any OpenAI API into a decision modelEN
- 06Every model (incl. Jev) we tested inflates security finding severityEN
- 07Language Models for Text Classification: From Bag-of-Words to JevEN
- 08The System One models ecosystemEN
- 09AI models keep posting screenshots showing sensitive data from inside companiesEN
- 10AI Models Fail at Physics: Coding Harnesses Are to BlameEN
- 11How many tasks does it take to trust a cheaper model?EN
- 12Gates Foundation 5 Year Goal: Help 3B People to Use AI in Their LanguageEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.