Gli strumenti AI locali dominano la settimana: Jevstiller, TalkScribe e la ritirata di Anthropic dal cloud

Jevstiller è un proxy open source che sta davanti a Jev di TypeSafe. Il repository GitHub e un articolo di The Register risalgono entrambi al 30 settembre.

I due testi descrivono lo stesso meccanismo. All'inizio ogni richiesta arriva a Jev e le risposte addestrano un piccolo modello locale. Quando i campioni sono abbastanza, quelle già viste vengono risolte sull'hardware dell'utente. Jev costa poco, ma non è gratis. The Register indica il prezzo di Jev in 42 dollari per miliardo di token in ingresso (35.000.000.000 di token) e una latenza di circa 300 ms. Il README di Jevstiller parla di circa 15 ms su CPU per una risposta locale, più o meno 20 volte più veloce. La documentazione del progetto lo descrive come una cache: "Una richiesta viene risolta in locale solo se ogni domanda al suo interno può esserlo; altrimenti l'intera richiesta va a Jev con la chiave dell'utente."

I numeri dietro la promessa sono più stretti del titolo. Banking77 è un insieme di 77 intenti di assistenza clienti riprodotti contro risposte di Jev registrate. Con le impostazioni predefinite il sistema ha risposto al 61,7% dei messaggi tenuti da parte, con un accordo del 99,40% rispetto a Jev e un obiettivo dichiarato del 98%. Il README riporta anche un'accuratezza del 78,8% per il modello locale contro il 78,5% di Jev sulle etichette del dataset. Una prova dal vivo del 25 settembre ha dato il 70,7% con un accordo del 99,45%, usando un'impostazione che il README dice non essere più quella predefinita.

I modelli locali passano sul portatile

La stessa settimana ha portato un gruppo di strumenti costruiti su un solo presupposto: l'inferenza appartiene alla macchina che hai davanti. TalkScribe, un'app di dettatura per macOS pubblicata il 30 settembre, esegue il riconoscimento vocale e un passaggio di riscrittura sul Neural Engine di Apple, senza trasferire nulla nel cloud. Vende una licenza a vita per 14 dollari e include un modello Qwen3 1.7B (1.700.000.000 di parametri) per la rifinitura. Il sito sostiene che le persone digitano circa 40 parole al minuto e ne pronunciano da 130 a 160. È la proposta in una riga.

Secondo la pagina della sua libreria, Ollama ha aggiunto un endpoint per modelli decisionali nella versione 0.35. L'endpoint serve Nimble, un modello da 9B (9.000.000.000 di parametri) di Bespoke Labs, messo a punto a partire da Qwen3.5-9B. La pagina dice che Nimble risponde in meno di 100 ms su un MacBook Pro con M5 Max e accetta fino a 64 domande per richiesta. L'endpoint segue l'API di Jev di TypeSafe, quindi la stessa forma di richiesta funziona sia contro un Jev ospitato sia contro un file locale.

"Rilasciamo in open source AA-AgentPerf-Local, che riproduce traiettorie reali di agenti su hardware da portatile e da workstation per testare le prestazioni di inferenza", ha scritto Artificial Analysis il 30 settembre.

Quel benchmark dà alla spinta locale un metro di misura. Artificial Analysis dice che il suo carico di lavoro predefinito è di 8 attività agentiche registrate, per un totale di 168 turni di modello, con un contesto che cresce fino a circa 56.000 token. Ha pubblicato i primi risultati per NVIDIA DGX Spark da 128 GB, AMD Ryzen AI Halo da 128 GB, un MacBook Pro M5 Pro da 64 GB e una NVIDIA GeForce RTX 5090 da 32 GB. I modelli testati sono Qwen3.5-9B, Qwen3.8-27B (27.000.000.000 di parametri), Qwen3.6-35B-A3B (35.000.000.000 di parametri) e Ling 3.0 Flash (3.000.000.000 di parametri) con quantizzazione a 4 bit.

Altri due progetti completano il quadro. OpenResearch, di alphaXiv, è uno spazio di lavoro local-first per agenti di ricerca che conserva gli esperimenti in un database SQL locale. Dichiara di non raccogliere codice né tracce degli agenti, anche se le sue build di rilascio inviano analisi con opt-out legate a un ID di installazione casuale. LocalThings, un'integrazione per Home Assistant, comunica con gli elettrodomestici Samsung sulla rete locale usando CoAP su DTLS e la specifica OCF. Il suo README dice che non contatta mai i server di Samsung dopo la configurazione.

Il controesempio: Anthropic ritira la modalità locale

Non tutti i fornitori si muovono in quella direzione. Il centro assistenza di Anthropic afferma che il 6 ottobre 2026 le nuove attività Cowork sui piani Pro, Max e Ultra hanno iniziato a girare nel cloud e che l'opzione "Solo sul tuo computer" nelle Impostazioni è stata rimossa. Gli utenti ancora impostati sul locale sono stati spostati nel cloud alla successiva apertura dell'app desktop, senza modo di tornare indietro. Le attività avviate prima di quella data restano sulla macchina.

Messe insieme le due metà, la settimana si legge come una divisione, non come una tendenza. Gli strumenti citati sono piccoli, con uno scopo unico e per lo più gratuiti o economici: una licenza da 14 dollari, un'immagine container, un repository GitHub. Il cambiamento di Anthropic riguarda i piani a pagamento e sposta il lavoro nella direzione opposta. Quale lato vince dipende dai carichi di lavoro e dal fatto che i numeri di accordo tengano anche fuori da un dataset di 77 classi di intenti.