I modelli locali piccoli passano al harness: Reika, Jeff-Code e d1 puntano agli agenti on-device

Il 5 ottobre sono comparsi su GitHub due progetti con un'impostazione quasi identica. Reika, una CLI per agenti di coding dello sviluppatore alexwkleung, è stata costruita pensando prima di tutto ai modelli locali piccoli: da 8.000.000.000 a 35.000.000.000 di parametri, spesso a Q2 o Q4, su una finestra di contesto da 16 a 32.000 token. Jeff-Code, fork dell'agente Pi di Mario Zechner, affianca un modello decisionale da 800.000.000 di parametri a Qwen 3.8-27B. Dichiara attività di coding il 47% più veloci a parità di pass rate.

La cosa riguarda chiunque faccia girare agenti sul proprio hardware. Se è il ciclo dell'agente, non il modello, a decidere se un'esecuzione locale arriva in fondo o si perde, i modelli piccoli diventano utilizzabili per lavori che oggi richiedono un'API ospitata. Nessuno dei due progetti rivendica risultati da frontiera. Resta da capire come si comportano i due harness fuori dalle valutazioni dei loro stessi autori.

Il README di Reika pubblica le misure dietro le sue scelte di progetto, e sono precise. Una riscrittura a metà contesto ha riprocessato 8.453 token di prompt, che il progetto stima in 7,9 minuti di prefill. Un'aggiunta nella stessa sessione è costata 25 token e 3,5 secondi. In un test A/B, un ramo ha scartato i propri risultati prima di una piegatura del contesto. Quel ramo ha piegato cinque volte, ha riletto file già letti e non ha mai risposto. Il ramo a cui è stato chiesto prima il riepilogo ha risposto partendo dal digest. La formulazione del prompt, dice il progetto, è la leva più debole. Su un compito vago a Q2 un modello converge o si perde circa 50/50, e il harness non può spostare quel tasso, solo il costo della metà che fallisce. Reika aggiunge che nei test i modelli da 14 a 35.000.000.000 di parametri hanno gestito i compiti multi-file con maggiore affidabilità. I modelli da 8.000.000.000 a 9.000.000.000 di parametri se la cavavano con quelli semplici e ben delimitati, e sotto i 7.000.000.000 di parametri raramente andavano lontano.

I numeri di Jeff-Code arrivano con gli intervalli, cosa rara per il README di un progetto. Su 1.242 compiti appaiati, il pass rate è stato del 62,4% con Jeff contro il 62,8% di Qwen 3.8-27B da solo. È una differenza appaiata di meno 0,2 punti, con un intervallo al 95% da meno 2,6 a più 2,1. Il tempo per compito è stato in media 0,68x, con una mediana di 0,70x. Il tempo totale su tutti i compiti è calato meno, a 0,86x, perché in circa il 5% dei compiti Jeff-Code impiega più di 30 minuti in più di Qwen da solo. Disattivare il thinking a ogni turno è stato ancora più veloce ma è costato 7,6 punti. Una soglia meno prudente di 0,7 è costata 4,5 punti.

I modelli decisionali come altra strada

Liquid AI ha scelto un approccio diverso lo stesso giorno. Il suo modello d1, annunciato il 5 ottobre, risponde a domande su una situazione con una probabilità per ogni risposta possibile. Non genera alcun token, e restituisce i risultati in 200 o 300 ms per una decisione testuale. Liquid dice che d1 eguaglia o batte GPT-6.1 Sol su quattro delle sei applicazioni reali testate, dal filtraggio dei ticket di assistenza all'ispezione di schede a circuito. Lo fa a un costo da 19x a 200x inferiore e più velocemente su ogni compito. L'azienda riporta anche una precisione dell'85 al 97% nel distinguere pezzi buoni e difettosi sul dataset pubblico VisA, un compito per cui non è mai stata addestrata.

La demo più rilevante per chi costruisce agenti è la compattazione del contesto. Liquid dice che d1 legge ogni output di uno strumento nella sessione di un agente di coding e lo conserva, lo riduce o lo elimina. Rimuove il 52% dei token mantenendo ogni output che serve al compito. È lo stesso problema che Reika affronta con le piegature del contesto, risolto da un modello molto più piccolo a cui si chiede una domanda più ristretta. Liquid descrive d1 come il suo primo modello decisionale e come il primo a estendere queste capacità alle immagini.

La tesi del harness compare anche in un post di Sean Goedecke pubblicato il 5 ottobre. Goedecke sostiene che modelli come Jev, che producono solo decisioni, possono essere distillati in classificatori costruiti a mano una volta validato un prompt. Si raccolgono input e output, poi si addestra qualcosa di più piccolo e veloce per quel singolo compito. Osserva che addestrare un classificatore su misura è fuori dalle competenze della maggior parte dei team di ingegneria. È il vuoto che un modello decisionale generale riempie per primo.

Non ogni modello piccolo è un modello decisionale. Interfaze 1.1 Lite, pubblicato su Hugging Face il 5 ottobre, è un modello mixture-of-architectures. Gira su una singola GPU da 80 GB senza servizi esterni. Riporta 83,8 su olmOCR-Bench, 85,9 su GPQA Diamond e 3,01 di word error rate su VoxPopuli-Cleaned. Trascrive una registrazione di 95 minuti in circa 90 secondi. È capacità on-device per documenti e parlato, non per il codice.

La frontiera dei pesi aperti si è mossa nella direzione opposta lo stesso giorno. Reflection ha annunciato Beam, un modello sparse mixture-of-experts con 501.000.000.000 di parametri totali e 23.000.000.000 attivi. È stato preaddestrato su 23.800.000.000.000 di token e addestrato con oltre 100.000.000 di rollout su 10.500 GPU NVIDIA GB300 in quattro settimane. Reflection dice che Beam è competitivo con modelli aperti più grandi come GLM 5.2 e vicino a Qwen 3.8-Max su coding e compiti agentici. Dice che Kimi K3 resta avanti sulla capacità grezza. I pesi, il rapporto tecnico e la model card sono promessi più avanti questo mese, e il modello è ancora in red-teaming.

Per ora, la rivendicazione pratica che arriva dal fronte dei modelli piccoli è più stretta del marketing che la circonda. Reika è pre-1.0 e avverte che comandi e comportamento possono cambiare tra una release e l'altra. L'accelerazione di Jeff-Code regge su SWE-bench Verified a 0,63x e su Terminal-Bench Pro a 0,64x. Non mostra guadagni chiari su Terminal-Bench 2.0 a 0,96x né su SkillsBench a 0,91x. Il harness aiuta soprattutto dove il compito è di routine, che è anche dove un modello decisionale si inserisce.