Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Ollama aggiunge i modelli decisionali in stile Jev: un classificatore da 9B gira in locale a 91ms

Ollama 0.35 introduce un endpoint /v1/systemone che esegue modelli decisionali sulla macchina dell'utente. I primi due sono Nimble da 9B di Bespoke Labs e tev1:0.8b da 0,8B di Together AI. Secondo Ollama, Nimble ha impiegato in media 91ms per decisione in un test locale con Pac-Man su un M5 Max.

IA e modelliNotiziaGiulia FerrariPubblicato: 30 settembre 20266 min di letturaFonti 9
Ollama aggiunge i modelli decisionali in stile Jev: un classificatore da 9B gira in locale a 91ms

L'endpoint, annunciato il 30 settembre, riprende la forma dell'API Jev di TypeSafe. Si invia un testo come state e una serie di domande con un nome. Il modello restituisce una risposta con le probabilità per ogni opzione ammessa.

Ollama indica come usi previsti lo smistamento dei ticket, il routing tra modelli e la moderazione di contenuti o sicurezza.

Perché conta

Una classificazione che prima richiedeva un giro di rete ora è una chiamata di funzione locale. Spariscono dal ciclo i limiti di frequenza, il costo per chiamata e la dipendenza dall'uptime di un fornitore. Resta da chiarire l'accuratezza: Ollama ha pubblicato la latenza, non la concordanza con Jev su traffico reale. Per chi collega un classificatore a un ciclo di agente o a un tick di gioco, il cambiamento modifica il budget. E apre una domanda a cui il rilascio non risponde: un modello generale addestrato altrove sarà d'accordo con le tue etichette?

Jev, rilasciato da TypeSafe il 14 settembre 2026 secondo il repository di Bespoke Labs, è ospitato ed è veloce, ma resta a circa 300ms per risposta, nota il progetto Jevstiller, a ogni carico testato: da 16 a 64 chiamanti concorrenti, fino a 190 richieste al secondo, p50 300ms. I limiti pubblicati da TypeSafe a ottobre 2026 sono 80 richieste e 100.000 token al secondo, modificabili a sua discrezione. Per un ciclo di agente o un tick di gioco, quel divario è tutto l'argomento.

Nimble è un modello da 9B messo a punto da Qwen3.5-9B. La pagina della libreria di Ollama dice che gestisce tre tipi di domanda (scegli da una lista, vero o falso, e un punteggio a rubrica), accetta fino a 64 domande sullo stesso testo in una sola chiamata e risponde in meno di 100ms su un MacBook Pro con M5 Max. L'esempio con Pac-Man del blog lo colloca a 91ms. Il modello è stato addestrato su coppie contrastive, in cui due esempi differiscono per un fatto e quel fatto ribalta la risposta.

La nuova API è disponibile da Ollama 0.35 usando il nuovo endpoint /v1/systemone.

Bespoke Labs ha pubblicato un proprio resoconto sulla genealogia del modello. Nimble-v1 è uscito il 18 settembre come Bespoke-Nimble-9B, con i dati e la ricetta di addestramento. Ollama ha aggiunto Nimble-v2 il 29 settembre. Il 6 ottobre la v3 era il miglior modello aperto sotto i 25.000.000.000 di parametri nel Decision Index. Poi la v4 (9.000.000.000) e la v4-max (27.000.000.000) sono state lanciate sull'API di Bespoke il 13 ottobre, con punteggi di 63,70 e 68,46 nella suite pubblica, contro 57,96 di Jev 1.13 e 62,25 di Perplexity Decider v1.1. Bespoke ha misurato questi due in una propria esecuzione il 12 ottobre e segnala che non sono ancora nella dashboard del Decision Index.

Il repository è prudente su un punto: Bespoke non ha distillato da Jev. Dice che l'obiettivo è mostrare come curare i dati, addestrare e servire un modello del genere. I 2.676 esempi di addestramento e i 324 esempi di validazione sono stati esclusi dal primo rilascio per errore e pubblicati il 20 settembre.

Eseguire il modello in locale è l'altra metà della proposta. Nell'esempio di richiesta di Ollama un ticket di supporto viene instradato a billing con probabilità 0,985, un flag di rimborso a 0,997 e un punteggio di urgenza a 0,815, con una confidenza di 0,046 su quest'ultimo. Quel valore basso è un promemoria utile: la confidenza misura quanto sono concentrate le probabilità, non se la risposta è giusta.

L'SDK di TypeSafe funziona con l'endpoint locale. Basta impostare TYPESAFE_BASE_URL su localhost e la chiave su "ollama", e il client Python esistente invia le stesse richieste che manderebbe al servizio ospitato. È il percorso di migrazione più economico disponibile, ed è il motivo per cui la forma dell'API Jev conta più di qualsiasi singolo modello.

Se un 9B locale tenga il passo di uno specialista ospitato è una questione separata, che i numeri di Bespoke rendono complicata. Jevstiller, un proxy che distilla un'attività di classificazione Jev ripetuta in un piccolo modello locale sul tuo traffico, riporta che su Banking77 (77 intenti di assistenza clienti) il suo modello locale ha risposto al 61,7% dei messaggi di validazione con una concordanza del 99,40% rispetto a Jev, contro un obiettivo del 98%. La sua esecuzione live del 25 settembre ha dato 70,7% al 99,45%. Una risposta locale richiedeva circa 15ms su CPU, più o meno 20 volte più veloce di Jev.

Due cose risaltano. Primo, un modello locale distillato può mantenere la concordanza sopra il 99% servendo la maggior parte del traffico, ed è la promessa che Ollama ora confeziona come singolo endpoint. Secondo, ci sono volute circa 4.000 richieste prima che il modello locale subentrasse nella demo da 5.000 messaggi di Jevstiller. Nimble di Bespoke arriva già addestrato, quindi lo scambio è diverso: nessun riscaldamento, ma neanche adattamento alle tue etichette specifiche.

Altrove, nella stessa settimana, i piccoli modelli on-device hanno continuato ad arrivare. Fulcrum ha rilasciato Echo, un modello di scrittura che secondo l'azienda batte i modelli di frontiera nell'imitazione dello stile ed è costato meno di 5.000 dollari di addestramento. Fermion Research ha distribuito Phonon-2, un modello di riconoscimento vocale inglese in un download da 164MB che segna in media 5,21% di word error sui sette insiemi inglesi dell'Open ASR Leaderboard, con ogni modello aperto migliore almeno 5,8 volte più grande. Clarity di KugelAudio fa enhancement vocale ed estrazione dell'oratore principale in blocchi brevi, con circa 50ms di elaborazione per blocco.

Nessuno di questi compete direttamente con Nimble. Mostrano però lo stesso schema: un compito ristretto, un modello piccolo e un budget di latenza misurato in millisecondi invece che in secondi. Il lancio di Embed 5 di Cohere, lo stesso giorno, ha scommesso sul contrario, vendendo un modello di retrieval con contesto da 128.000 token a 0,12 dollari per milione di token per Pro e 0,08 per Fast, con i due livelli che condividono uno stesso spazio di embedding.

L'idea dei modelli decisionali ha anche un lato scomodo. Un modello che restituisce una risposta tipizzata e una probabilità invita ad automatizzare la decisione. Una ricerca ripresa dalla Substack di Lauren Leek ha trovato che undici modelli, testati su circa 3.000 domande di consiglio reali nel benchmark ELEPHANT, hanno validato chi chiedeva il 72% delle volte contro una baseline umana del 22%, e hanno rifiutato di dare una raccomandazione diretta l'84% delle volte contro il 21%. Sono consigli, non smistamento, ma il modo di fallire ha la stessa forma: una risposta sicura che non è quella che volevi.

Ollama dice che arriveranno altri modelli decisionali, compresi modelli serviti dal suo cloud. Il tev1:0.8b di Together è già elencato come sperimentale. Né Ollama né TypeSafe hanno detto cosa succede al prezzo di Jev se i modelli decisionali locali si prendono il lavoro ad alto volume.

Per ora la domanda pratica è ristretta. Se il tuo carico è classifica-e-agisci, con un budget di latenza in millisecondi o una macchina senza connessione in uscita, Ollama 0.35 ti dà un modo supportato per eseguirlo. Se le tue etichette sono specifiche della tua azienda e il tuo traffico è grande, un proxy di distillazione sopra Jev può ancora battere un modello generale. I due non si escludono, e nulla in nessuno dei due rilasci ti impedisce di usarli entrambi.

Commenti 0

Fonti

9
  1. 01Ollama now supports Jev-style decision modelsEN
  2. 02Ollama library: nimbleEN
  3. 03Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  4. 04Jevstiller: Distill a repeated Jev classification task into a local modelEN
  5. 05Echo – A SOTA writing model for style imitationEN
  6. 06Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  7. 07Clarity, a streaming model for speech enhancement and target speaker extractionEN
  8. 08Cohere: Embed 5 – A New Family of Frontier Embedding ModelsEN
  9. 09I Outsource My Biggest Decisions to a Chatbot – and None of the Small OnesEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.