Aleph Alpha mette i pesi di Kolibri su Hugging Face, e llama.cpp impara a rispondere senza scrivere
Aleph Alpha ha pubblicato Kolibri, un modello open-weight da 78 miliardi di parametri con 3 miliardi attivi, il 3 ottobre, lo stesso giorno in cui llama.cpp ha aggiunto il supporto ai decision model, che restituiscono probabilità invece di testo.

Aleph Alpha ha pubblicato Kolibri il 3 ottobre. Il modello è un Transformer Mixture-of-Experts inglese-tedesco con 78 miliardi di parametri totali e 3 miliardi attivi, e l'azienda ha messo i pesi completi su Hugging Face con licenza Apache 2.0. Accetta finestre di contesto fino a 1 milione di token.
La tempistica conta per chi compra nei settori regolati. Kolibri è pensato per la pubblica amministrazione, l'industria e l'aerospazio. Aleph Alpha sostiene che i clienti possono eseguirlo on-premise, così i dati interni non arrivano mai a un servizio di inferenza di terzi. Non sono stati comunicati né il prezzo né il numero di clienti.
L'azienda inquadra il rilascio attorno all'integrità della filiera: dice di poter rendere conto di ogni passaggio, dall'ingestione dei dati al pre-training e post-training fino alle valutazioni finali. Kolibri segue un precedente modello da 30 miliardi, Kolibri Origin, costruito sulla stessa pipeline. Aleph Alpha afferma che Kolibri è alla pari con modelli che hanno fino a quattro volte il suo numero di parametri attivi, citando Nemotron 3 Super come esempio, e che si colloca sulla frontiera di Pareto per qualità rispetto al costo di servizio sia in inglese sia in tedesco. Sono benchmark del fornitore, eseguiti sulle valutazioni interne dell'azienda, non indipendenti.
Spedire i pesi costa sempre meno, ed eseguirli richiede sempre meno
Lo stesso fine settimana ha portato un secondo tipo di rilascio aperto. È quello più interessante. Il progetto llama.cpp ha annunciato il 2 ottobre che il suo server ora supporta i decision model tramite un endpoint /v1/systemone, secondo un post della community di Hugging Face firmato da Xuan-Son Nguyen e Victor Mustar. Si invia uno stato, un testo, un JSON o uno screenshot, più domande tipizzate, e il modello restituisce una probabilità per ogni opzione dopo un singolo forward pass. Non viene generato alcun token. I client esistenti che parlano il formato Jev di TypeSafe hanno bisogno solo di un nuovo base URL.
La tabella dei modelli in quel post è la parte da leggere con attenzione. Laya, un modello inglese da 421 milioni di parametri con licenza Apache 2.0, risponde a una domanda in una mediana di 5 ms su una NVIDIA RTX PRO 6000. Clef ha 27 miliardi di parametri, accetta immagini ed è Apache 2.0. OpenJev ha 27 miliardi di parametri ed è multilingue, ma è distribuito con licenza CC BY-NC 4.0, che esclude l'uso commerciale. Kev-4B risponde in 12 ms, lev in 36 ms. Un decision model che instrada un ticket di assistenza o controlla un passo di un agente non ha bisogno di scrivere prosa, e la differenza di costo deriva da questo.
Kitsuno, che usa Jev in produzione, ha pubblicato i propri numeri il 3 ottobre, e vanno in entrambe le direzioni. Dal 23 settembre Jev ha risposto a 35.812 chiamate registrate per 76 milioni di token di input, a un costo totale di 3,68 dollari. Su un test set costruito lo stesso giorno, Laya non addestrata ha risposto correttamente al 44 percento delle domande, contro il 94 di Jev. Kitsuno afferma di non aver addestrato Laya sull'output di Jev perché l'accordo con i clienti di TypeSafe, sezione 2.3(b) aggiornata il 23 settembre, vieta di addestrare un prodotto simile o concorrente sull'output del servizio. La società precisa che è la sua lettura del contratto, non un parere legale.
Insieme sono arrivati due rilasci aperti più piccoli. ZeroLeaks ha pubblicato Shield Small, un classificatore da 118 milioni di parametri per il rilevamento di prompt injection e jailbreak, il 2 ottobre, con pesi ONNX int8 da 118.445.560 byte che girano su CPU. La sua model card riporta un'accuratezza media bilanciata per categoria dell'84,3 percento e un recall sugli attacchi del 71,8 percento se abbinato a Shield rules v2, e nota che il confronto ha coperto 35 dataset pubblici che hanno contribuito allo sviluppo, non un test su dati mai visti. Lo stesso avvertimento vale per il tasso di falsi positivi del 7,2 percento.
Non tutti concordano sul fatto che i pesi aperti rendano le cose più sicure
Anthropic ha usato il proprio report per sostenere la tesi opposta. Tom's Hardware ha riportato il 3 ottobre che Anthropic afferma che GLM-5.3 di Zhipu AI può generare contenuti dannosi con protezioni deboli. Nelle esecuzioni di Exploitbench di Anthropic, GLM-5.3 ha prodotto exploit Chrome end-to-end 50 volte su 410 tentativi, contro 56 del modello Mythos di Anthropic, non ancora rilasciato. Su un benchmark interno per hijack completi del control-flow ha segnato il 4 percento, contro il 6 percento di Mythos, mentre Kimi K3 e DeepSeek V4.1 Flash hanno entrambi segnato 0 percento. Anthropic afferma che un prompt ingannevole ha aggirato le guardrail il 64 percento delle volte e che il prefilling dei thinking token ha funzionato il 92 percento delle volte. Sono i numeri di Anthropic su un modello di un concorrente, e Zhipu AI non ha risposto nel materiale esaminato qui.
Anche la battaglia sulle politiche non è chiusa. WIRED ha riportato il 3 ottobre che Nathan Lambert e Tom Zick hanno lanciato Trillium Labs, un'organizzazione no-profit che pubblicherà i dettagli di esperimenti in aree tra cui il miglioramento ricorsivo di sé e gli agenti.
Fonti
9- 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 02New in llama.cpp: Decision ModelsEN
- 03Laya in shadow: training an open decision model to replace JevEN
- 04Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 05Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 06These AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 07Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
- 08As Part of Ongoing Investigation, Attorney General Bonta Serves Investigative Subpoena on OpenAIEN
- 09OpenAI safety leader David Robinson resignsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.