Modelli piccoli ai margini della rete: Reika, Jeff-Code e d1 ridisegnano l'AI locale
Il 5 ottobre gli sviluppatori hanno pubblicato Reika, un agente CLI ottimizzato per modelli locali da 8.000.000.000 a 35.000.000.000 di parametri, insieme a Jeff-Code, che usa un modello da 800.000.000 di parametri per accelerare Qwen 3.8-27B del 47% senza perdere accuratezza.

Il baricentro dell'inferenza AI si sta spostando dai data center ai dispositivi personali.
A muovere le cose è una nuova ondata di strumenti che mette l'efficienza davanti al numero di parametri. Le ultime uscite, tutte nelle ultime 72 ore, puntano a rendere i modelli linguistici piccoli utilizzabili per compiti complessi e reali. Reika, un agente CLI per il coding rilasciato il 5 ottobre, è progettato fin dall'architettura intorno ai modelli locali piccoli. Il repository GitHub indica che lo strumento si rivolge a modelli tra 8.000.000.000 e 35.000.000.000 di parametri, spesso quantizzati a Q2 o Q4, con finestre di contesto da 16.000 a 32.000 token. Gli sviluppatori spiegano che l'harness gestisce il contesto con attenzione, per evitare che un modello piccolo sprechi la finestra limitata in letture ripetute. Non rende più intelligente un modello piccolo, ma lavorarci diventa meno frustrante perché il compito ha meno probabilità di perdersi per strada.
La documentazione tecnica di Reika riporta misure precise dai test interni.
In una riscrittura a contesto medio, l'harness ha rielaborato 8.453 token di prompt, con 7,9 minuti di tempo di prefill. Un'aggiunta nella stessa sessione è costata invece solo 25 token e 3,5 secondi. La differenza mostra quanto sia inefficiente la gestione tradizionale del contesto con i modelli piccoli. Gli sviluppatori hanno misurato anche il rilevamento dei loop: i cicli di ragionamento sani si fermano a 0,2-0,3 di similarità tra un giro e l'altro, mentre i loop bloccati stanno a 1,00. Un turno produttivo da 38 giri non ha mai fatto scattare il rilevatore, segno che il sistema distingue l'iterazione utile dal fallimento.
Jeff-Code segue una strada diversa. Abbina un modello decisionale da 800.000.000 di parametri a Qwen 3.8-27B. Il modello piccolo, chiamato Jeff, gestisce i passaggi di routine come leggere file o elencare cartelle, decidendo in circa 0,2 secondi ciascuno. Quando Jeff è sicuro, fa da solo il passo successivo. Quando ha dubbi, passa la mano al modello Qwen più grande. Questa divisione del lavoro rende il sistema il 47% più veloce, ovvero il 32% di tempo in meno per compito, a parità di pass rate. La valutazione ha coperto compiti appaiati, con un pass rate del 62,4% per Jeff-Code contro il 62,8% di Qwen da solo. La differenza è statisticamente trascurabile, con un intervallo al 95% da -2,6 a +2,1 punti.
Liquid AI ha presentato d1, un modello decisionale che gestisce testo e immagini, il 5 ottobre. A differenza dei modelli linguistici tradizionali, che generano token in sequenza, d1 legge dati non strutturati in un solo passaggio in avanti e restituisce le probabilità per ogni risposta possibile. Una decisione su testo richiede da 200 a 300 ms, abbastanza per applicazioni in tempo reale. L'azienda ha testato d1 contro GPT-6.1 Sol e Claude Opus 5.5 su sei applicazioni reali, tra cui il filtraggio di ticket di assistenza e l'ispezione di schede a circuito. d1 ha eguagliato o battuto GPT-6.1 Sol su quattro di questi compiti, costando da 19 a 200 volte meno. Ha anche risposto molto più rapidamente su ogni compito.
L'efficienza di questi modelli si vede nel loro impiego su compiti visivi.
Nel dataset VisA, d1 ha smistato pezzi buoni e difettosi con un'accuratezza dell'85-97%. Il modello non era mai stato addestrato per questo specifico compito di ispezione industriale. Ha capito i requisiti da una breve descrizione, il che mostra quanto l'architettura decisionale sia generalizzabile. Nei giochi, aggiungere la visione a d1 ha portato il punteggio a Tetris da 70 a 81 linee completate. A Wordle il modello ha risolto 12 partite su 12, con una media di 3,8 tentativi, leggendo la scacchiera direttamente da uno screenshot.
Interfaze AI ha rilasciato Interfaze-1-lite, un modello a architetture miste per i carichi di lavoro degli sviluppatori. Il modello gira su una singola GPU da 80 GB senza servizi esterni. Combina un decoder a attenzione ibrida con architetture specializzate per la lettura di documenti, il riconoscimento vocale e il grounding visivo. Una registrazione di 95 minuti viene trascritta in circa 90 secondi. Il modello gestisce la comprensione dei documenti con riquadri e punteggi di confidenza per ogni riga e ogni parola. Supporta output strutturati vincolati a uno schema JSON fornito dall'utente. La finestra di contesto è di 131.000 token, abbastanza per documenti lunghi e interazioni complesse.
Non si tratta di episodi isolati, ma di una tendenza più ampia verso l'elaborazione sul dispositivo. La recensione dell'iPhone 18 Pro pubblicata dal Guardian il 5 ottobre rileva che il nuovo chip A20 Pro è circa il 27% più veloce dell'A19 Pro, con prestazioni grafiche superiori del 45%. Il telefono arriva con iOS 27, che include una Siri rinnovata sostenuta dalle tecnologie AI di Google. Siri AI capisce e risponde alle domande molto meglio delle versioni precedenti. È meno loquace e meno adulatoria, e punta a portare a termine il compito. Il sistema vede cosa c'è sullo schermo, anche quando si usa la fotocamera, e propone azioni come aggiungere eventi al calendario.
La svolta verso i modelli piccoli sta influenzando anche la comunità open source.
Metagente, un linguaggio minimale per agenti AI, parla MCP e A2A in modo nativo. L'interprete è un singolo binario scritto in Rust, che non richiede ambienti Python né framework. Gli utenti descrivono a cosa serve l'agente, quali strumenti può usare e cosa risponde. Il resto lo fa l'interprete. Questo approccio abbassa la barriera per costruire agenti e lo rende accessibile a chi non programma. Il linguaggio supporta permessi per singolo agente su cartelle, variabili d'ambiente e link, il che aumenta la sicurezza.
NASA e IBM hanno rilasciato il Lunar Foundation Model, un pacchetto di fine-tuning e inferenza per compiti lunari a valle. Il progetto include due pacchetti Python: ni_lfm per il modello e terratorch_integration per datamodule e task. Il modello supporta il rilevamento di crateri, la prospezione del ghiaccio e la segmentazione. Il rilascio include esempi per l'invio a cluster con PBS e Slurm. Segno che i modelli piccoli e specializzati stanno prendendo piede anche nella ricerca scientifica e nelle applicazioni spaziali, dove i vincoli di risorse pesano spesso molto.
Le basi tecniche di questi modelli sono oggetto di ricerca accademica. Uno studio della UC Riverside, pubblicato il 23 settembre, ha scoperto che la confidenza e la correttezza nei grandi modelli linguistici nascono da caratteristiche interne diverse. I ricercatori hanno individuato caratteristiche interne associate separatamente alla confidenza e alla correttezza. Hanno mostrato che modificare alcune di queste caratteristiche può cambiare il comportamento del modello senza riaddestramento completo. Il risultato mette in discussione l'idea che la confidenza di un modello sia un indicatore affidabile dell'accuratezza. Suggerisce che i modelli futuri potrebbero essere regolati per essere più sicuri quando hanno ragione e più prudenti quando rischiano di sbagliare.
L'integrazione dei modelli piccoli nei flussi di lavoro esistenti sta diventando più fluida. Al Python Language Summit 2026 si è discusso di varie iniziative per migliorare l'ecosistema Python, tra cui la possibile adozione di Rust per CPython. David Hewitt ha osservato che il numero di issue etichettate "type-crash" cresce nel tempo. Ha suggerito che Rust potrebbe essere una soluzione, citandone l'uso su Android e nel kernel Linux. Il team ha proposto di chiedere ai distributori Python di provare il supporto Rust opzionale in Python 3.16, con le issue segnalate a monte per la risoluzione in Python 3.17.
Un'altra discussione al summit ha riguardato gli snapshot di memoria per CPython.
Hood Chatham ha proposto di usare uno "snapshot" della memoria del processo Python dopo l'inizializzazione per velocizzare l'avvio. Nei test, eseguire un semplice "Hello, world" è stato circa 4 volte più veloce caricando l'interprete da uno snapshot di memoria. L'approccio però incontra problemi di sicurezza, in particolare attacchi denial-of-service tramite collisioni di algoritmi di hash. La proposta suggerisce di aggiungere una "fase di inizializzazione" al modello linguistico di Python, per permettere al runtime di reintrodurre la casualità in sicurezza.
Il panorama dei modelli linguistici piccoli evolve in fretta, con strumenti e architetture nuove che arrivano di continuo. Il filo comune è l'attenzione all'efficienza, alla specificità e alla possibilità di girare su hardware limitato. Con il miglioramento dell'hardware e le ottimizzazioni del software, questi modelli diventeranno probabilmente una componente standard dell'informatica quotidiana, dagli smartphone agli strumenti scientifici. Nei prossimi anni è probabile un'ulteriore integrazione di queste tecnologie nelle applicazioni di massa, con costi più bassi e un accesso più ampio.
Fonti
10- 01Reika – A coding agent CLI designed around small local models firstEN
- 02Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
- 03d1: The most capable decision model, now with visionEN
- 04Interfaze-1-lite: the first open-weight model for deterministic taskEN
- 05Apple iPhone 18 Pro review: big changes for small differencesEN
- 06Metagente, a tiny language for AI agents that speaks MCP and A2AEN
- 07NASA-IBM Lunar Foundation Model and fine-tuning codeEN
- 08Study: Path discovered to make AI models red-flag their doubtful answersEN
- 09Rust for CPython (Python Language Summit 2026)EN
- 10Memory Snapshots for CPython (Python Language Summit 2026)EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.