Modelli piccoli in locale: nuovi tool e pesi aperti da 501 miliardi ridisegnano l'AI sul dispositivo

Reflection ha presentato Beam, il suo primo modello a pesi aperti, il 5 ottobre.

L'architettura sparse Mixture-of-Experts conta 501.000.000.000 di parametri totali, di cui 23.000.000.000 attivi. È pensata per la programmazione, il ragionamento e i carichi di lavoro agentici. Secondo il blog dell'azienda, Beam è stato preaddestrato su 23.800.000.000.000 di token. Il ciclo di reinforcement learning ad alto calcolo ha generato oltre 100.000.000 di rollout su 10.500 GPU NVIDIA GB300 nell'arco di quattro settimane.

Le ragioni dell'inferenza locale

Beam punta sull'efficienza dell'inferenza, non sulla dimensione grezza.

L'azienda sostiene che il modello raggiunge punteggi paragonabili a GLM-5.2 consumando da 3 a 4 volte meno calcolo in inferenza. Si avvicina a Qwen 3.8-Max sui compiti di programmazione. Dove i modelli di frontiera come Kimi K3 restano avanti in capacità pura, il vantaggio di Beam è il costo per token. I pesi non sono ancora pubblici: sono in fase di red-teaming finale. Reflection pubblicherà i pesi, il rapporto tecnico e la model card più avanti questo mese.

L'uscita arriva mentre emerge un'ondata di tool che rendono davvero utilizzabili i modelli piccoli, quelli nella fascia tra 8.000.000.000 e 35.000.000.000 di parametri, per lo sviluppo quotidiano. La tendenza non riguarda solo il risparmio. Riguarda la latenza, la privacy e la possibilità di far girare agenti su hardware di proprietà.

I tool che sistemano l'esperienza dei modelli piccoli

Reika è un agente di programmazione a riga di comando progettato innanzitutto per i modelli locali piccoli. Lavora con modelli da 8.000.000.000 a 35.000.000.000 di parametri, spesso quantizzati tra Q2 e Q4, su finestre di contesto da 16.000 a 32.000 token. Il README, pubblicato il 5 ottobre, osserva che l'harness è attento al contesto e fallisce in modo più controllato. Dice quando è bloccato. Il progetto è pre-1.0, quindi comandi e impostazioni possono ancora cambiare. Nei test, i modelli da 14.000.000.000 a 35.000.000.000 di parametri hanno gestito con più affidabilità i compiti su più file. I modelli da 8.000.000.000 a 9.000.000.000 di parametri se la cavavano su compiti semplici e ben delimitati. Sotto i 7.000.000.000 di parametri raramente si andava lontano.

Gli sviluppatori hanno pubblicato i risultati in docs/findings.md.

Una riscrittura a metà contesto ha rielaborato 8.453 token di prompt, costando 7,9 minuti di prefill. Un'aggiunta nella stessa sessione è costata 25 token e 3,5 secondi. La gestione del contesto dell'harness è costata più del modello stesso. Hanno anche scoperto che la formulazione del prompt è la leva più debole. Su un compito vago in Q2, un modello converge o va in spirale più o meno 50/50, e l'harness non può spostare quella percentuale. Può solo ridurre il costo della metà che fallisce.

Jeff-Code segue una strada diversa. È un fork di Pi, l'agente di programmazione di Mario Zechner. Mette Jeff, un modello decisionale da 800.000.000 di parametri, dentro il ciclo dell'agente. Attorno a ogni turno di Qwen, Jeff prende due decisioni rapide da circa 0,2 secondi ciascuna. Decide se può fare da solo il passo successivo, per esempio leggere un file o lanciare i test. Scrivere e modificare file resta sempre al modello più grande. Decide anche se Qwen deve ragionare a fondo. Il ragionamento resta spento finché la probabilità stimata da Jeff che il turno richieda il ragionamento completo non arriva a 0,6. Nella valutazione, circa tre quarti dei turni di Qwen giravano con il ragionamento spento.

I risultati sono precisi. Su compiti appaiati, Jeff-Code ha ottenuto un tasso di successo del 62,4% contro il 62,8% di Qwen 3.8-27B da solo. La differenza appaiata è stata di meno 0,2 punti, con un intervallo al 95% da meno 2,6 a più 2,1. Il tempo per compito è sceso a 0,68 volte il valore di riferimento. Il tempo totale su tutti i compiti insieme è stato 0,86 volte. È un'accelerazione del 47%, ovvero il 32% di tempo in meno, a parità di tasso di successo. L'accelerazione è meno netta su Terminal-Bench 2.0, dove il rapporto è stato 0,96.

Modelli decisionali e la nuova architettura

Liquid AI ha presentato d1, il suo primo modello decisionale, che ora supporta testo e immagini.

Un modello decisionale risponde a domande su una situazione con una probabilità per ogni risposta possibile. Riceve in input dati non strutturati e una o più domande, li legge in un solo passaggio in avanti e restituisce probabilità senza generare token. Una decisione su testo richiede da 200 a 300 millisecondi. Liquid AI ha testato d1 contro GPT-6.1 Sol e Claude Opus 5.5 su sei applicazioni reali. d1 eguaglia o batte GPT-6.1 Sol su quattro di esse. Costa da 19 a 200 volte meno di entrambi i modelli e risponde molto più in fretta su ogni compito.

Sean Goedecke, che ha scritto del modello System One Jev, sostiene che questi modelli possono addestrare i propri sostituti. Quando il comportamento di un classificatore Jev convince, si possono raccogliere i suoi dati di input e output. Si può poi addestrare su quei dati un classificatore specifico, costruito a mano. Non sarà un classificatore generale, ma dovrebbe funzionare bene sul compito specifico ed essere molto più veloce. Questo schema, distillare un modello generale di tipo system one in un classificatore specializzato, diventerà probabilmente comune.

Interfaze AI ha rilasciato Interfaze 1 Lite, un modello mixture-of-architectures per i carichi di lavoro degli sviluppatori. Non è una sola rete. È un nucleo di ragionamento più specialisti, ognuno scelto per il compito in cui rende meglio. L'intero modello gira su una sola GPU da 80 GB senza servizi esterni. Gestisce comprensione dei documenti, trascrizione vocale, grounding visivo e output strutturato. Una registrazione di 95 minuti viene trascritta in circa 90 secondi. Supporta 14 lingue per il ragionamento multilingue con un contesto da 131.000 token. Ottiene 83,8 su olmOCR-Bench e 81,5 sullo Structured Output Benchmark.

Inferenza sul dispositivo e privacy

La spinta verso i modelli locali non riguarda solo le prestazioni. Riguarda il fatto che i dati restano sul dispositivo.

Dictate è un'app per note vocali per iPhone e Apple Watch che gira interamente sul dispositivo. Usa Parakeet, un modello vocale aperto, per trascrivere 25 lingue europee. Apple Intelligence crea una versione leggibile sull'iPhone, togliendo le parole riempitive e risolvendo le correzioni a voce. L'audio non lascia mai il telefono. Non c'è server, né account, né analytics. L'unico posto in cui può finire una trascrizione è un webhook definito dall'utente, se abilitato.

JeffyClassify offre classificatori di testo in 51 lingue che girano su CPU. I classificatori multilingue usano un encoder di frasi multilingue. Ogni classificatore pesa circa 100 KB. L'encoder è condiviso. Sono stati addestrati su Amazon MASSIVE in 22 minuti su una CPU. Ci sono anche classificatori specializzati per compiti come il rilevamento di spam negli SMS, che raggiunge il 99,1% di accuratezza, e la classificazione in tempo reale del gameplay di Doom con regressione logistica, senza rete neurale né GPU.

Contesto e sfondo

Questi sviluppi si inseriscono in un cambiamento più ampio. Il Python Language Summit del 2026 ha discusso Rust per CPython, un progetto che punta a migliorare prestazioni e sicurezza. David Hewitt, nel ruolo di ambasciatore del progetto, ha osservato che il numero di problemi di crash di tipo in CPython cresce costantemente. Rust potrebbe aiutare a contenerli. La proposta è chiedere ai distributori di Python di provare il supporto opzionale a Rust in Python 3.16, atteso per ottobre 2027. Questo lavoro sull'infrastruttura tecnica sostiene l'ecosistema su cui si appoggiano i modelli piccoli.

Intanto, uno studio della UC Riverside guidato da Het Patel ha scoperto che la fiducia e la correttezza nei grandi modelli linguistici nascono da caratteristiche interne diverse. Questo mette in discussione l'idea che la fiducia di un modello sia un indicatore affidabile di accuratezza. Identificando queste caratteristiche, i ricercatori possono regolare i modelli perché siano più cauti quando è probabile che sbaglino. È un passo verso modelli piccoli e locali più affidabili nei ruoli decisionali.

La comunità open source reagisce anche ai nuovi modelli video. MiniMax ha rilasciato i pesi del modello H3 il 3 agosto. Tre giorni dopo ha raggiunto la vetta della lista dei trend di Hugging Face. H3 è un modello video, ma il suo rilascio ha messo in luce il valore dei pesi aperti nell'ecosistema AI. Gli sviluppatori possono scaricare, distribuire, quantizzare e modificare il modello. È questo spirito di accesso aperto a rendere possibile l'attuale ondata di modelli piccoli, locali e sul dispositivo.

Per gli sviluppatori la scelta è chiara. Se serve capacità di frontiera, si usano i modelli grandi ospitati. Se servono velocità, privacy o controllo dei costi, si usano quelli piccoli e locali. I tool che rendono praticabile la seconda opzione stanno finalmente arrivando.