I modelli piccoli passano on-device: Aleph Alpha rilascia Kolibri, llama.cpp aggiunge i decision models
Aleph Alpha ha pubblicato Kolibri il 3 ottobre, un modello open-weight inglese-tedesco con 78.000.000.000 di parametri totali e appena 3.000.000.000 attivi, scaricabile con licenza Apache 2.0. Lo stesso giorno llama.cpp ha aggiunto il supporto ai decision models, che rispondono a una domanda in un solo forward pass.

Aleph Alpha ha pubblicato Kolibri il 3 ottobre, giorno dell'unità tedesca, e ha impostato il lancio sulla sovranità più che sulla scala. L'azienda lo descrive come un Transformer Mixture-of-Experts inglese-tedesco con 78.000.000.000 di parametri totali e 3.000.000.000 attivi, con lunghezze di contesto fino a 1.000.000 di token. I pesi completi sono su Hugging Face con licenza Apache 2.0.
Il punto è il costo di esercizio. Aleph Alpha sostiene che il modello si colloca sulla frontiera di Pareto per qualità rispetto al costo di servizio, sia in inglese sia in tedesco, e che eguaglia modelli con un numero di parametri attivi fino a quattro volte superiore, citando Nemotron 3 Super. Secondo l'azienda i clienti possono eseguirlo on-premise senza inviare dati interni a servizi di inferenza di terzi. Per gli acquirenti dei settori regolati è un elemento che pesa. Pubblica amministrazione, industria e aerospazio sono i mercati indicati nell'annuncio. Aleph Alpha dice di aver specializzato Kolibri per il tedesco, il ragionamento, la matematica e il comportamento agentico. Quello che non pubblica è un benchmark indipendente. I confronti citati sono valutazioni interne dell'azienda e nessuna terza parte ha confermato la tesi della frontiera di Pareto.
Nessun laboratorio esterno ha ancora verificato nulla di tutto questo.
llama.cpp trasforma i decision models in un endpoint server
Sempre il 3 ottobre il team di ggml-org ha pubblicato un post su Hugging Face che descrive un nuovo endpoint /v1/systemone in llama.cpp. Si invia uno stato (testo, JSON o uno screenshot) insieme a domande tipizzate, e il modello restituisce una probabilità per ogni opzione in un solo forward pass. Il post precisa che l'API segue il formato System One introdotto con il modello Jev di TypeSafe, quindi ai client esistenti basta un nuovo base URL.
La lista dei modelli è il punto in cui il discorso on-device diventa concreto. Julia-1 risponde in 3 ms su una NVIDIA RTX PRO 6000. Laya impiega 5 ms. Kev-4B e lev sono modelli da 4.000.000.000 di parametri, a 12 ms e 36 ms. OpenJev ha 27.000.000.000 di parametri e gestisce le immagini; Clef ne ha 27.000.000.000 e gira con licenza Apache 2.0. Le velocità sono mediane per una singola domanda su quella scheda, quindi su un portatile i tempi saranno più alti.
I decision models cambiano quello che fa un modello piccolo. Invece di generare testo, assegnano un punteggio alle opzioni che ricevono: instradare una richiesta, moderare un contenuto, verificare che il passo di un agente abbia funzionato o scegliere l'azione successiva. Non viene generato alcun token di output, ed è per questo che le latenze si misurano in millisecondi e non in secondi.
Il Decision Index della community mostra come si confrontano.
Il post rimanda i lettori a quell'indice per il confronto tra modelli e annuncia che arriveranno altri decision models. L'endpoint supporta tre tipi di domanda: choice, score e noul, una domanda sì/no che restituisce la probabilità del sì. Gli input possono includere anche immagini per i modelli con capacità visive come OpenJev.
Anche i guardrail diventano piccoli
ZeroLeaks ha rilasciato Shield Small il 2 ottobre, un classificatore da 118.000.000 di parametri per il rilevamento di prompt injection e jailbreak. Gira in locale su una CPU con pesi ONNX int8 da 118 MB e, una volta scaricato il modello, l'inferenza funziona offline. La model card consiglia di usarlo sul testo non fidato prima che un agente lo legga: documenti recuperati, risultati di strumenti, pagine web, messaggi e descrizioni degli strumenti.
I numeri pubblicati arrivano con un'avvertenza che gli autori stessi dichiarano. Shield Small con rules v2 raggiunge l'84,3% di accuratezza media bilanciata per categoria, il 71,8% di recall sugli attacchi e un tasso di falsi positivi del 7,2% su 35 dataset pubblici. La card precisa che quel confronto ha guidato lo sviluppo e non è una valutazione su dati mai visti. Avverte anche che il modello può mancare attacchi e segnalare come ostile un testo innocuo, soprattutto discussioni di sicurezza che citano attacchi.
C'è un secondo limite da leggere prima del deployment. Gli input più lunghi di 6.206 token vengono troncati, e lo script di esempio valuta 28 finestre dall'inizio e quattro dalla fine, restituendo coverage.truncated: true. Secondo la card un risultato troncato e non segnalato non va considerato un via libera per l'intero documento. Il punteggio, inoltre, non è una probabilità calibrata che un attacco vada a segno.
Sul fronte consumer i prodotti sono già in vendita
Underdog è la versione più consumer di questa tendenza. L'azienda vende un assistente personale che gira su un Mac con Apple silicon, con una beta per Windows, e sostiene che nulla esca dalla macchina. I suoi modelli sono Woof 4B e Underdog 27B. Il sito afferma che Underdog 27B batte Claude Opus 4.6 Max sull'Artificial Analysis Intelligence Index, una dichiarazione che viene dal fornitore e cita un indice di terzi senza pubblicare un punteggio.
La documentazione di sicurezza è più verificabile. Underdog dice di aver superato tutti i 20 requisiti della valutazione App Defense Alliance condotta da Leviathan Security Group. Dice che Google lo ha autorizzato a leggere Gmail e Calendar e che Hacktron AI ha completato un penetration test dell'app per Mac e del sito. Jane Manchun Wong è indicata come impegnata ad analizzare l'app per Mac, un audit in corso e non concluso.
Google, intanto, stringe il tier gratuito di Gemini. Una pagina di supporto aggiornata il 3 ottobre indica che le modifiche partono il 9 ottobre per gli utenti senza abbonamento AI, quando Auto diventa l'impostazione predefinita e la maggior parte dei prompt finisce su Flash-Lite, il modello più veloce. Se la selezione intelligente del modello è disattivata, le chat usano Flash-Lite per tutto. I tier a pagamento hanno limiti più alti: AI Plus al doppio dello standard, AI Pro al quadruplo, AI Ultra a cinque o venti volte AI Pro.
Letti insieme, i due movimenti vanno in direzioni opposte. Google spinge gli utenti gratuiti verso il suo modello cloud più piccolo e li misura in base al calcolo ogni cinque ore. Aleph Alpha e i contributori di llama.cpp mettono i pesi nelle mani degli utenti. Nessuno dei due sostituisce l'altro: Kolibri richiede una GPU e un operatore, Flash-Lite richiede solo un browser.
Cosa manca ancora
La valutazione indipendente è il vuoto. La tesi di Pareto di Aleph Alpha, quella sull'indice di Underdog e le cifre di accuratezza di Shield poggiano tutte su test set dei fornitori o scelti da loro. Il post di llama.cpp dà la latenza su una singola scheda da datacenter, che dice poco su un portatile. Nessuno di questi rilasci include un audit neutrale di terze parti sulla qualità nella fascia piccola.
Resta anche la domanda su a cosa servano i modelli piccoli. Aleph Alpha posiziona Kolibri per il lavoro sovrano nelle industrie regolate, ZeroLeaks posiziona Shield come filtro davanti a un agente, llama.cpp posiziona i decision models come router e verificatori. Nessuno dei tre cerca di essere un chatbot generalista, e i benchmark che stabiliscono se un chatbot è buono non misurano bene nessuno di questi compiti.
Fonti
8- 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 02New in Llama.cpp: Decision ModelsEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04Underdog private personal on-device local AI for privacy and securityEN
- 05Changes to Gemini model access and limitsEN
- 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 08A Beginner's Guide to Running AI Models LocallyEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.