Modelli piccoli passano on-device: Echo, Phonon-2, Strata e Nimble in una settimana
Fulcrum ha rilasciato Echo il 30 settembre, un modello di scrittura che secondo l'azienda è costato meno di 5.000 dollari per l'addestramento e batte i modelli di frontiera nell'imitazione dello stile. È stato uno dei quattro rilasci piccoli o local-first arrivati lo stesso giorno, insieme a Phonon-2, Strata e all'endpoint per i decision model di Ollama.
Il 30 settembre Fulcrum ha rilasciato Echo, un modello di scrittura che descrive come il migliore nell'imitazione dello stile. L'azienda dice che è costato meno di 5.000 dollari per l'addestramento. Dice anche che Echo batte i modelli di frontiera nei compiti di scrittura, dalla narrativa alle spiegazioni tecniche, secondo la pagina di lancio. Il modello non è ancora aperto. Fulcrum afferma di volerlo rendere open source presto e raccoglie richieste di contatto per un uso su scala.
La dichiarazione si basa su una metrica costruita da Fulcrum stessa. Ha calcolato le caratteristiche stilometriche standard e le ha usate per produrre un Elo dello stile. Su quel punteggio dichiara lo stato dell'arte sia per gli autori visti in addestramento sia per quelli tenuti fuori. Non esistono metriche canoniche riconosciute per la qualità della scrittura, e l'azienda lo scrive sulla pagina. Finché qualcuno non rifà il calcolo in modo indipendente, la classifica resta il suo tabellone.
La spiegazione del costo basso, per Fulcrum, è l'elicitazione. Sostiene che il modello contiene già una conoscenza compressa dello stile d'autore. Il fine-tuning supervisionato, dice, in gran parte insegna al modello ad attivare quello che c'è già. La fase SFT semina le persona usando testi umani presi da internet, avvolti in scalette sintetiche generate da un modello di frontiera. Poi arriva il fine-tuning sul post originale, condizionato a quella scaletta. Una seconda fase applica un reinforcement learning a livello di token contro una metrica della voce. Fulcrum dice che così i guadagni sulle persona passano anche alle richieste in chat e si corregge un costo di ragionamento che aveva visto con i dati umani off-policy.
Un dettaglio conta per chi usa i rilevatori di AI come proxy dello slop. Fulcrum scrive che Pangram, un rilevatore, giudica la scrittura di Echo umana più spesso di quanto faccia con i modelli di frontiera. Su prompt un po' più dettagliati, dice, Echo viene segnalato come umano la maggior parte delle volte. È una scelta di progetto deliberata da parte di Fulcrum, non un caso. Va contro l'assunto comune che i modelli migliori debbano essere più facili da smascherare.
Voce, in 164 MB
Lo stesso giorno Fermion Research ha rilasciato Phonon-2, un modello di riconoscimento vocale per l'inglese che sta in un download da 164 MB. Fermion dice che arriva a una media del 5,21% di word error sui sette set inglesi della Open ASR Leaderboard. Dice che ogni modello aperto con un punteggio migliore è almeno 5,8 volte più grande. L'encoder memorizza ogni peso come uno di cinque livelli appresi, a circa 2,1 bit, impacchettati come cifre in base 3, cinque per byte.
Il confronto in evidenza è con il suo stesso insegnante, un modello a piena precisione da 2,5 GB. Fermion dice che Phonon-2 mantiene l'accuratezza dell'insegnante set per set. Raggiunge il 100,8% della sua accuratezza sulle parole nel parlato parlamentare e lo batte nelle riunioni, con un download 15 volte più piccolo. Su un MacBook Air trasforma un'ora di audio in testo in circa 20 secondi. Su otto core CPU la stessa ora richiede 25 secondi. Su una H100 una giornata intera di audio richiede 13 secondi, in batch da 128.
Fermion è attenta ai suoi percorsi veloci. Dice che ognuno viene distribuito solo perché il suo word error resta nel rumore del percorso esatto. Vuol dire un bootstrap appaiato sui clip con 4.000 ricampionamenti, con un intervallo al 95% che copre lo zero. I pesi sono CC-BY-4.0, la licenza del Parakeet TDT 0.6B v3 di NVIDIA, da cui derivano. Il modello gira su Mac, Linux, Windows e GPU NVIDIA, e la riga di comando fermion si installa da PyPI.
Entrambi i rilasci puntano allo stesso spostamento. Capacità che prima richiedevano un datacenter vengono compresse in file che un portatile può tenere. I 164 MB di Phonon-2 sono meno della maggior parte delle librerie di foto. Il budget di addestramento di Echo è inferiore allo stipendio mensile di un solo ingegnere. Nessuno dei due numeri dice che il modello è buono. Entrambi dicono che la barriera per pubblicarne uno è scesa.
Un modello da 125.000.000.000 di parametri su un PC da gioco, più o meno
Strata, pubblicato su GitHub il 30 settembre, prende la strada opposta. Non rimpicciolisce il modello, lo trasmette in streaming. Il progetto offre un'installazione con un clic per Windows e Linux che fa girare Qwen3.8-Flash-Next su hardware consumer. Legge dall'SSD tutto ciò che non entra in memoria. La documentazione elenca un set a 2,00 bpw da 257 GB, che richiede circa 265 GB di disco libero, e una variante coder con metà degli esperti rimossi da 191 GB.
I numeri misurati sono modesti e il progetto non li nasconde. Su una RTX 5070 con 12 GB e 64 GB di RAM di sistema, Strata riporta da 4 a 6 token al secondo in output. Riporta circa 110 token al secondo di lettura del prompt a 4K. Una RTX 3060 con 12 GB e 46 GB di RAM arriva a 9-11 token al secondo. Una singola Radeon AI PRO R9700 con 251 GB di RAM ottiene 21-25 token al secondo. Quattro di quelle schede arrivano a 74-77.
L'hardware supportato è ristretto ed elencato in chiaro. La lista copre NVIDIA RTX serie 30, 40 e 50 su Windows e Linux, AMD Radeon AI PRO R9700 su Linux, AMD Ryzen AI Max Strix Halo su Windows e Mac Apple Silicon con 64 GB o più, solo testo. Il progetto è gratuito e open source, non richiede account e serve un'API in stile OpenAI o Anthropic su localhost. È un'opzione reale per chi ha un SSD grande e pazienza. Non è un sostituto di un endpoint ospitato.
Lo stack dei decision model si consolida
Ollama ha rilasciato la versione 0.35 il 30 settembre con il supporto ai decision model tramite un nuovo endpoint /v1/systemone, seguendo la Jev API di TypeSafe. Si invia il testo come stato più un insieme di domande con un nome, e un modello locale risponde a tutte in una sola richiesta. Ollama la propone per lo smistamento dei ticket, il routing tra modelli e la moderazione dei contenuti. Riporta Nimble 9B con una media di 91 ms per decisione su una M5 Max, nel suo esempio Pac-Man.
Nimble è il modello da 9.000.000.000 di parametri di Bespoke Labs, fine-tuned da Qwen3.5-9B, ed è l'implementazione di riferimento del formato. Il suo repository documenta la cronologia. TypeSafe ha rilasciato Jev il 14 settembre 2026, Bespoke ha rilasciato Nimble-v1 come Bespoke-Nimble-9B il 18 settembre, Ollama ha aggiunto Nimble-v2 il 29 settembre, e Nimble-v4 e Nimble-v4-max sono stati lanciati sull'API il 13 ottobre. Bespoke dice che Nimble-v4-max ha segnato 68,46 nella suite pubblica del Decision Index, con Nimble-v4 a 63,70, contro Jev 1.13 a 57,96 e Perplexity Decider v1.1 a 62,25. Il repository precisa che sono esecuzioni di Bespoke del 12 ottobre e non sono ancora nella dashboard dell'indice.
La pagina del modello di Ollama elenca tre tipi di domanda: scegliere da una lista, rispondere vero o falso, oppure collocare qualcosa su una rubrica. Una richiesta può portare fino a 64 domande sullo stesso testo. Le domande a scelta e a punteggio accettano da 2 a 26 opzioni. Le risposte tornano con probabilità e un valore di confidenza che Ollama avverte non essere la probabilità che la risposta sia giusta. Quell'avvertenza conta più di quanto sembri. Una risposta sbagliata con alta confidenza resta sbagliata, e l'API ti dà il numero da controllare, non un verdetto.
Lo stack ha anche uno strato di distillazione. Jevstiller, un progetto GitHub pubblicato il 30 settembre, si mette davanti a una chiamata ripetuta di classificazione Jev. Impara dalle risposte di Jev e dalle loro distribuzioni di probabilità, poi risponde localmente alla maggior parte delle richieste. Su Banking77, rigiocato contro le risposte registrate di Jev con le impostazioni predefinite, il suo modello locale ha risposto al 61,7% dei messaggi tenuti fuori con un accordo del 99,40% con Jev, contro un obiettivo del 98%. Ha mantenuto l'accuratezza di Jev al 78,8% contro il 78,5% sulle etichette del dataset. Una risposta locale richiede circa 15 ms su CPU, più o meno 20 volte più veloce del p50 di Jev a 300 ms, dice il progetto.
Cosa mostra davvero la settimana
Letti insieme, questi rilasci descrivono un mercato che si divide in due. Una metà comprime: Phonon-2 a 164 MB, Echo sotto i 5.000 dollari di addestramento, Nimble da 9.000.000.000 di parametri che risponde in meno di 100 ms. L'altra metà trasmette in streaming. Strata muove 257 GB di pesi attraverso un PC da gioco a token al secondo a una cifra, per tenere in funzione un modello di classe 125.000.000.000 di parametri senza un server.
La metà della compressione ha le prove migliori. Fermion pubblica la metodologia di valutazione, nomina la licenza che eredita e dice quali percorsi veloci sono stati ammessi solo a equivalenza entro il rumore. Fulcrum pubblica una metrica che ha inventato, il che è più debole, ma è esplicita sul fatto che non esiste una metrica canonica. Strata pubblica la sua tabella di throughput con l'hardware allegato, che è più di quanto facciano la maggior parte dei progetti di inferenza.
Manca la verifica indipendente. Nessuno di questi numeri è stato rifatto da terzi, e diversi vengono dalle organizzazioni che vendono il risultato. La Open ASR Leaderboard è un benchmark pubblico, e questo aiuta Phonon-2. Ma i punteggi del Decision Index per Nimble-v4 sono di Bespoke e l'Elo dello stile per Echo è di Fulcrum. È normale per la settimana di lancio e vale comunque la pena dirlo apertamente.
Quello che è cambiato non è che i modelli piccoli sono diventati buoni. È che gli strumenti per eseguirli, valutarli e distillarlì ora stanno su un portatile, e chi li costruisce rilascia ogni settimana. Il lotto del 30 settembre sono quattro rilasci in un giorno, da quattro team senza rapporti tra loro, nessuno dei quali è un grande laboratorio. Questa è la storia.
Fonti
11- 01Echo – A SOTA writing model for style imitationEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Strata: Run a 125B-parameter AI model on a normal gaming PCEN
- 04Ollama now supports Jev-style decision modelsEN
- 05Ollama now supports Jev-like decision models all locally in 0.35EN
- 06Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
- 07Jevstiller: Distill a repeated Jev classification task into a local modelEN
- 08Coop: A small language model pretrained by volunteersEN
- 09PSSA: A non-transformer language model written from scratch in RustEN
- 10AI models keep posting screenshots showing sensitive data from tech companiesEN
- 11TalkScribe – On-device dictation and local LLM rewrite for macOSEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.