I piccoli modelli vanno in locale: nuovi strumenti e 501B di pesi aperti ridisegnano l'AI on-device

Reflection ha introdotto Beam, il suo primo modello a pesi aperti, il 5 ottobre.

L'architettura sparse Mixture-of-Experts conta 501.000.000.000 parametri totali, di cui 23.000.000.000 attivi. È progettata per la programmazione, il ragionamento e i carichi di lavoro agentici. Secondo il blog aziendale, Beam è stato pre-addestrato su 23.800.000.000.000 token. L'esecuzione di reinforcement learning ad alto calcolo ha generato oltre 100.000.000 rollout su 10.500 GPU NVIDIA GB300 in quattro settimane.

Il caso per l'inferenza locale

Beam punta all'efficienza dell'inferenza più che alla pura dimensione.

L'azienda afferma di ottenere punteggi paragonabili a GLM-5.2 usando da 3 a 4 volte meno potenza di calcolo per l'inferenza. Si avvicina a Qwen 3.8-Max nei task di programmazione. Dove i modelli di frontiera come Kimi K3 restano avanti nella capacità pura, il vantaggio di Beam è il costo per token. I pesi non sono ancora pubblici: stanno subendo il red-teaming finale. Reflection rilascerà i pesi, il rapporto tecnico e la scheda del modello più avanti questo mese.

Questo rilascio coincide con l'emergere di strumenti per rendere pratici i modelli davvero piccoli, quelli nella fascia da 8B a 35B, per lo sviluppo quotidiano. La tendenza non riguarda solo il risparmio di denaro. Riguarda la latenza, la privacy e l'esecuzione di agenti su hardware di proprietà.

Strumenti che risolvono l'esperienza dei piccoli modelli

Reika è un agente di programmazione CLI progettato attorno a piccoli modelli locali. Mira a modelli da 8B a 35B, spesso quantizzati da Q2 a Q4, su finestre di contesto da 16.000 a 32.000 token. Il README, pubblicato il 5 ottobre, nota che l'harness gestisce il contesto con attenzione e fallisce in modo più elegante. Dice quando è bloccato. Il progetto è pre-1.0, quindi comandi e impostazioni possono ancora cambiare. Nei test, i modelli da 14B a 35B hanno gestito i task multi-file in modo più affidabile. I modelli da 8B a 9B hanno gestito quelli semplici e ben delimitati. Sotto i 7B raramente andavano lontano.

Gli sviluppatori hanno pubblicato i loro risultati in docs/findings.md.

Una riscrittura a metà contesto ha rielaborato 8.453 token del prompt, costando 7,9 minuti di prefill. Un'append nella stessa sessione è costata 25 token e 3,5 secondi. La gestione del contesto dell'harness costava più del modello stesso. Hanno anche scoperto che la formulazione del prompt è la leva più debole. Su un task vago a Q2, un modello converge o entra in spirale circa 50/50, e l'harness non può spostare quel tasso. Può solo ridurre il costo della metà fallita.

Jeff-Code adotta un approccio diverso. È un fork di Pi, l'agente di programmazione di Mario Zechner. Mette Jeff, un modello decisionale da 0.8B, all'interno del loop dell'agente. Intorno a ogni turno di Qwen, Jeff prende due decisioni rapide di circa 0,2 secondi ciascuna. Decide se può fare il passo successivo da solo, come leggere un file o eseguire test. Scrivere e modificare file rimane sempre con il modello più grande. Decide anche se Qwen deve pensare a fondo. Il pensiero resta spento a meno che la probabilità di Jeff che il turno richieda un pensiero completo raggiunga 0.6. Nella valutazione, circa tre quarti dei turni di Qwen si sono eseguiti con il pensiero spento.

I risultati sono specifici. Su task accoppiati, Jeff-Code ha raggiunto un tasso di superamento del 62,4% contro il 62,8% di Qwen 3.8-27B da solo. La differenza accoppiata era di meno 0,2 punti, con un intervallo del 95% da meno 2,6 a più 2,1. Il tempo per task è sceso a 0,68 volte la baseline. Il tempo totale per tutti i task combinati era 0,86 volte. Questo è un acceleramento del 47%, o 32% di tempo in meno, allo stesso tasso di superamento. L'acceleramento è meno chiaro su Terminal-Bench 2.0, dove il rapporto era 0,96.

Modelli decisionali e la nuova architettura

Liquid AI ha introdotto d1, il suo primo modello decisionale, che ora supporta testo e immagini.

Un modello decisionale risponde a domande su una situazione con una probabilità per ogni risposta possibile. Prende dati non strutturati e una o più domande come input, li legge in un singolo passaggio in avanti e restituisce probabilità senza generare token. Una decisione testuale richiede 200 a 300 millisecondi. Liquid AI ha testato d1 contro GPT-6.1 Sol e Claude Opus 5.5 su sei applicazioni reali. d1 eguaglia o supera GPT-6.1 Sol in quattro di esse. Costa da 19 a 200 volte meno di entrambi i modelli e risponde significativamente più velocemente su ogni task.

Sean Goedecke, che ha scritto sul modello System One Jev, sostiene che questi modelli possono addestrare i propri sostituti. Una volta soddisfatti di come un classificatore Jev si comporta, si possono raccogliere i dati di input e output. Si può quindi addestrare un classificatore specifico, costruito a mano, su quei dati. Non sarà un classificatore generale, ma dovrebbe fare bene sul task specifico ed essere molto più veloce. Questo schema, distillare un modello system one generale in un classificatore specializzato, probabilmente diventerà comune.

Interfaze AI ha rilasciato Interfaze 1 Lite, un modello mixture-of-architectures per carichi di lavoro degli sviluppatori. Non è una rete. È un nucleo di ragionamento più specialisti, ciascuno scelto per il task in cui è migliore. L'intero modello gira su una GPU da 80 GB senza servizi esterni. Gestisce la comprensione di documenti, la trascrizione vocale, il visual grounding e l'output strutturato. Una registrazione di 95 minuti viene trascritta in circa 90 secondi. Supporta 14 lingue per il ragionamento multilingue con un contesto di 131.000 token. Ottiene 83,8 su olmOCR-Bench e 81,5 sul Structured Output Benchmark.

Inferenza on-device e privacy

La spinta per i modelli locali non riguarda solo le prestazioni. Riguarda i dati che restano sul dispositivo.

Dictate è un'app di note vocali per iPhone e Apple Watch che gira interamente sul dispositivo. Usa Parakeet, un modello vocale aperto, per trascrivere 25 lingue europee. Apple Intelligence crea una versione di lettura sull'iPhone, rimuovendo le parole di riempimento e risolvendo le correzioni parlate. L'audio non lascia mai il telefono. Non c'è server, non c'è account e non c'è analytics. L'unico posto dove una trascrizione può andare è un webhook definito dall'utente, se abilitato.

JeffyClassify offre classificatori di testo in 51 lingue che girano su una CPU. I classificatori multilingue usano un encoder di frasi multilingue. Ogni classificatore è di circa 100 KB. L'encoder è condiviso. Sono stati addestrati su Amazon MASSIVE in 22 minuti su una CPU. Ci sono anche classificatori specializzati per task come il rilevamento dello spam SMS, che raggiunge il 99,1% di accuratezza, e la classificazione in tempo reale del gameplay di Doom usando la regressione logistica senza rete neurale o GPU.

Contesto e sfondo

Questi sviluppi si inseriscono in uno spostamento più ampio. Il Python Language Summit nel 2026 ha discusso Rust per CPython, un progetto mirato a migliorare prestazioni e sicurezza. David Hewitt, agendo come ambasciatore del progetto, ha notato che il numero di problemi di type-crash in CPython è stato in costante aumento. Rust potrebbe aiutare a mitigarli. La proposta è chiedere ai distributori di Python di tentare l'uso di supporto Rust opzionale in Python 3.16, previsto per ottobre 2027. Questo lavoro di infrastruttura tecnica supporta l'ecosistema su cui i piccoli modelli si affidano.

Nel frattempo, uno studio dell'UC Riverside guidato da Het Patel ha scoperto che la confidenza e la correttezza nei grandi modelli linguistici derivano da caratteristiche interne diverse. Questo mette in discussione l'assunzione che la confidenza di un modello sia un indicatore affidabile di accuratezza. Identificando queste caratteristiche, i ricercatori possono regolare i modelli per essere più cauti quando sono probabilmente sbagliati. Questo è un passo verso il rendere i piccoli modelli locali più affidabili nei ruoli decisionali.

La community open source sta anche reagendo ai nuovi modelli video. MiniMax ha rilasciato i pesi del modello H3 il 3 agosto. Ha raggiunto la cima della lista in tendenza di Hugging Face tre giorni dopo. Sebbene H3 sia un modello video, il suo rilascio ha evidenziato il valore dei pesi aperti nell'ecosistema AI. Gli sviluppatori possono scaricare, distribuire, quantizzare e modificare il modello. Questo spirito di accesso aperto è ciò che rende possibile l'attuale onda di modelli piccoli, locali e on-device.

Per gli sviluppatori, la scelta è chiara. Se serve capacità di frontiera, si usano i grandi modelli ospitati. Se serve velocità, privacy o controllo dei costi, si usano i piccoli modelli locali. Gli strumenti per rendere praticabile la seconda opzione stanno finalmente arrivando.