Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

I piccoli modelli imparano a rispondere senza scrivere: arrivano i modelli di decisione on-device

Il 29 settembre Liquid AI ha pubblicato la documentazione di d1, il suo primo modello di decisione, che restituisce probabilità calibrate in una sola chiamata con zero token generati. È l'ultimo arrivo in una classe di piccoli classificatori on-device in rapido movimento, che comprende Jev, Qevi-2B e Jeeves di PostHog.

IA e modelliSpiegatoChiara RomanoPubblicato: 29 settembre 20265 min di letturaFonti 6
I piccoli modelli imparano a rispondere senza scrivere: arrivano i modelli di decisione on-device

La proposta è stretta e precisa: un modello che non scrive. Secondo la documentazione di Liquid AI, pubblicata il 29 settembre, d1 valuta uno stato e restituisce probabilità su un insieme fisso di esiti. Nell'esempio della stessa azienda si invia un reclamo di un cliente e si ottiene indietro un solo numero, 0,999, per la domanda "Questo messaggio è un reclamo?".

Liquid chiama questo formato modello di decisione. Sono supportati tre tipi di domanda, e la documentazione li descrive in termini semplici: una domanda "noul" è sì/no e restituisce una probabilità tra 0 e 1; una domanda "choice" restituisce una distribuzione su opzioni denominate; una domanda "score" restituisce una posizione ponderata per probabilità su una scala ordinata. La risposta dell'API include un campo output_tokens che vale sempre zero.

Perché i piccoli modelli sono diventati all'improvviso interessanti

Liquid non è sola in questo angolo. Il saggio tecnico di Sebastian Raschka del 29 settembre sulla storia della classificazione del testo inquadra il recente modello Jev come classificatore prima che come fenomeno culturale. La sua tesi è che Jev non è migliore né più economico di un classificatore costruito apposta su un compito ristretto, ma è molto più generale di quei modelli specifici per compito e resta molto più veloce ed economico di un LLM di frontiera.

Questa combinazione, generalità di livello intermedio a basso costo per chiamata, è ciò che rende plausibile la storia on-device. Un modello da 2 miliardi o 9 miliardi di parametri che restituisce una probabilità invece di un paragrafo può girare su hardware che un modello di frontiera non può toccare.

Qevi-2B, pubblicato su Hugging Face il 29 settembre, è la versione lato immagini. È un fine-tune completo di Qwen3-VL-2B-Instruct che risponde a domande chiuse sulle immagini leggendo i logit nella posizione in cui il modello inizierebbe a rispondere, non generando testo. La model card è esplicita sullo scambio: "Non è un modello conversazionale. Chiedigli 'c'è una scala in questa immagine?' e restituisce P(Sì) = 0,97, non una frase."

La card riporta un'accuratezza di 0,977 in-domain contro 0,855 del modello base, e di 0,889 su domini tenuti fuori contro 0,745. L'errore di calibrazione atteso sui dati tenuti fuori scende da 0,160 a 0,054. C'è anche un avvertimento per chi fosse tentato di aggiungere sopra il temperature scaling: a T = 2,45 l'ECE sui dati tenuti fuori torna a 0,160, cancellando l'intero guadagno.

La velocità è l'altra metà della promessa. Qevi-2B dichiara di essere fino a circa 21 volte più veloce quando si pongono molte domande su una sola immagine, perché tutte e tre le domande dell'esempio condividono una sola codifica e sono separate da una maschera di attenzione a blocchi diagonali. La card afferma che le risposte sono identiche a porle separatamente, verificate bit per bit.

"Il più grande fattore di rischio che vediamo è l'AI legittima usata dagli sviluppatori, che poi finisce per fare cose che non dovrebbero essere fatte", ha detto Omer Singer, co-fondatore e CTO di Glow Security, in un'intervista con The Register.

Il problema: agenti che fanno trapelare mentre aiutano

Quella citazione ha poco a che fare con l'accuratezza della classificazione e tutto a che fare con il deployment. The Register ha riportato il 29 settembre che i ricercatori di Glow Security hanno trovato più di 13.000 screenshot sensibili di progetti software aziendali, provenienti da 343 aziende, pubblicati su repository GitHub pubblici da agenti AI. Lo chiamano PixelLeak.

Il meccanismo è banale. GitHub non ha un'API per caricare immagini nelle pull request, così gli agenti a cui viene chiesto di mostrare screenshot dell'interfaccia prima e dopo li mettono in un repo pubblico. Circa un terzo delle esposizioni è arrivato da sviluppatori che usano gitshot, uno strumento open source per gli screenshot la cui stessa informativa sulla privacy avverte che le immagini caricate sono pubbliche per impostazione predefinita.

Nulla di tutto questo è causato dai piccoli modelli. Ma è l'ambiente in cui i piccoli modelli vengono proposti: abbastanza economici da girare di continuo, incorporati negli strumenti degli sviluppatori, che agiscono senza un umano nel ciclo. Un classificatore che gira su un portatile rende quel ciclo più stretto.

Ragionamento, ma solo un po'

Jeeves di PostHog, pubblicato su GitHub il 29 settembre, prova a risolvere il problema di accuratezza nei modelli simili a Jev senza rinunciare al formato. È un classificatore in stile Jev da 9 miliardi di parametri costruito su Qwen3.5-9B con LoRA e una pointer head, addestrato a ragionare prima di decidere, con un drafter a diffusione block-4.

I numeri del repo lo confrontano con Kev-9B e Jev su dati su cui non è mai stato addestrato: 0,889 contro 0,822 e 0,857. Sui livelli pubblici di JevBench riporta 0,935 contro 0,866 di Jev. Il costo è la latenza. Senza pensiero, una richiesta richiede circa 0,3 secondi; con il pensiero, una mediana di 3,3 secondi su una H100 a precisione FP8. Il repo nota che troncare la catena la accorcia.

La tabella di Jeeves contraddice anche la storia semplice che il ragionamento aiuti sempre. Su MMLU-Pro segna 0,739 contro 0,840 di Jev, e su MMLU 0,793 contro 0,900. Gli autori non ne fanno una media per nasconderli; li pubblicano fianco a fianco.

Il blog per sviluppatori di Microsoft, in un post del 29 settembre su Agent Experience, espone la versione generale di questo punto. I punteggi dei benchmark guidano l'adozione, l'adozione guida l'ottimizzazione per il benchmark, e il punteggio smette di dirti qualcosa sul tuo codice. "Un modello eccellente su Django può essere mediocre sul tuo framework interno che assomiglia superficialmente a Django ma funziona diversamente in punti critici", dice il post. La stessa logica vale per un modello di decisione testato su livelli pubblici e poi calato nella tua coda di ticket.

On-device è il punto in cui questi fili si incontrano. Qevi-2B elenca 21 GB di pesi in bf16, e Jeeves dice che un Mac con Apple Silicon ha bisogno di 48 GB o più per le cache predefinite, anche se FP8 riduce i pesi a 11,5 GB e impostazioni di cache più piccole entrano in una macchina da 48 GB. Non è un telefono. È un portatile, che resta un bersaglio di deployment diverso da un data center, ed è il motivo per cui l'etichetta di piccolo modello qui fa un lavoro reale.

Quello che nessuno di questi rilasci risolve è se l'inquadramento come classificazione sopravviva al contatto con domande di produzione disordinate. Un 0,97 è facile da sogliare. Una domanda "score" con calibrazione non misurata, che è ciò che la card di Qevi-2B dice del proprio tipo "score", no.

Commenti 0

Fonti

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.