Modelli decisionali e piccoli agenti locali: la settimana in cui l'AI si è spostata verso l'edge

Liquid AI ha scelto il 5 ottobre per rilasciare d1, un modello decisionale. Risponde a domande su testo o immagini con probabilità invece di generare token. Il blog dell'azienda parla di 200-300 ms per una decisione su testo. È una dichiarazione del fornitore, non un benchmark indipendente. La direzione però è chiara: la proposta riguarda latenza e prezzo per decisione, non la capacità bruta.

Liquid sostiene anche che d1 eguagli o superi GPT-6.1 Sol su quattro delle sei applicazioni testate. Dice che il modello costa da 19 a 200 volte meno sia di GPT-6.1 Sol sia di Claude Opus 5.5. L'azienda ha provato d1 su sei applicazioni, dal filtraggio dei ticket di assistenza all'ispezione di schede elettroniche. Sostiene che il modello distingue pezzi buoni e difettosi con un'accuratezza dell'85-97% su un dataset pubblico VisA, senza essere stato addestrato per quel compito. In una demo di agente per il coding, d1 elimina il 52% dei token prodotti dagli strumenti durante la compattazione del contesto. Secondo il blog, conserva ogni output necessario al compito.

Che cosa fa davvero un modello decisionale

Liquid descrive tre tipi di domanda: Noul (sì/no con una probabilità), Choice (un'etichetta tra molte) e Score (una posizione su una scala). Una singola richiesta può contenere più domande sullo stesso stato, e questo riduce i token in ingresso.

Il versante visivo conta più di quello testuale. Aggiungere uno schermo ha fatto salire il punteggio di d1 a Tetris da 70 a 81 linee completate. A Wordle leggeva la griglia direttamente da uno screenshot, risolvendo 12 partite su 12 con una media di 3,8 tentativi. Sono giochi, ma mostrano il punto dell'integrazione: non serve serializzare l'ambiente in testo.

Liquid non è sola su questa strada. Sean Goedecke ha sostenuto il 5 ottobre che i cosiddetti modelli System One come Jev sono classificatori generali veloci su cui qualsiasi team di ingegneria può costruire un prompt. Una volta messo a punto il prompt, scrive, i team possono raccogliere le coppie input/output e addestrarci sopra un classificatore su misura più piccolo. Nel suo post definisce il risultato "sorprendentemente facile" da costruire e molto più veloce. È un contrappeso utile alla narrazione del fornitore: il vantaggio duraturo potrebbe essere la distillazione, non il modello generale in sé.

La scommessa di Reflection su 501 miliardi di parametri per l'efficienza dell'inferenza

Reflection ha presentato Beam, il suo primo modello open-weight, il 5 ottobre. Beam è un modello sparse mixture-of-experts con 501.000.000.000 di parametri totali e 23.000.000.000 attivi, secondo il blog dell'azienda. È stato preaddestrato su 23.800.000.000.000 di token. La fase di RL ha generato più di 100.000.000 di rollout su 10.500 GPU NVIDIA GB300 in quattro settimane di addestramento. Reflection sostiene che Beam è competitivo con modelli aperti più grandi come GLM 5.2 e vicino a Qwen 3.8-Max su compiti di coding e agentici. Dice che Beam usa da 3 a 4 volte meno calcolo di inferenza sui benchmark di ragionamento avanzato.

Leggere la tabella del fornitore con attenzione. Su SWE Bench Pro v2-Hard, Beam segna 77.2 contro 88.2 di Kimi K3. Su Terminal Bench v2.1 segna 80.1 contro 88.3 di Kimi K3 e 90.6 di DeepSeek V4.1 Flash. Reflection ammette che i modelli aperti di frontiera come Kimi K3 restano avanti sulla capacità bruta. I pesi, il rapporto tecnico e la model card non sono ancora usciti. Il blog dice che saranno rilasciati più avanti questo mese e che il modello è ancora in red-teaming finale. Fino ad allora i numeri vanno trattati come dichiarazioni.

L'efficienza è il filo che tiene insieme la giornata. Reflection inquadra esplicitamente Beam come "più intelligenza per token" per l'uso aziendale di tutti i giorni. Liquid inquadra d1 come un modo per sostituire le chiamate costose ai modelli linguistici quando la risposta è strutturata. Entrambe sono tesi secondo cui il prossimo giro di concorrenza riguarda il costo per risposta utile.

Modelli piccoli, harness piccoli

Due rilasci su GitHub del 5 ottobre spingono la stessa idea giù fino al portatile. Jeff-Code è un fork dell'agente di coding Pi di Mario Zechner e altri contributori. Inserisce un modello decisionale da 800.000.000 di parametri chiamato Jeff nel ciclo dell'agente accanto a Qwen 3.8-27B. Jeff decide se può fare da solo il passo successivo e se Qwen deve ragionare a fondo in un turno. Il repository riporta 1.242 compiti appaiati. Il tasso di successo è stato del 62,4% contro il 62,8% di Qwen da solo, una differenza appaiata di meno 0,2 punti con un intervallo al 95% da meno 2,6 a più 2,1. Il tempo per compito è stato 0,68x, mediana 0,70x. Circa tre quarti dei turni di Qwen sono girati con il ragionamento disattivato.

Reika, una CLI per agenti di coding di alexwkleung, parte dal punto opposto. È progettata per modelli locali da 8.000.000.000 a 35.000.000.000 di parametri con quantizzazione da Q2 a Q4 su una finestra di contesto da 32.000 token.

I risultati pubblicati sono schiettamente poco lusinghieri. Una riscrittura a metà contesto ha riprocessato 8.453 token di prompt, 7,9 minuti di prefill. Un'aggiunta nella stessa sessione è costata 25 token e 3,5 secondi. Un grep che ha restituito "0 corrispondenze" per una chiamata che non riusciva a servire ha mandato un modello a riformulare un pattern corretto per cinque turni. Il README dice che la formulazione del prompt è la leva più debole. Dice anche che su un compito vago a Q2 un modello converge o va in spirale più o meno 50/50.

Nessuno dei due progetti sostiene di rendere più intelligenti i modelli piccoli. L'avvertenza di Jeff-Code è che il tempo totale cala meno del tempo per singolo compito. In circa il 5% dei compiti dura più di 30 minuti in più rispetto a Qwen da solo. Reika è pre-1.0 e avverte che il comportamento può cambiare tra una release e l'altra. Insieme sono un contrappunto concreto alle tabelle dei benchmark, perché mostrano dove vanno davvero tempo e denaro.

Altrove nello stack

I rilasci infrastrutturali del 5 ottobre sono stati più silenziosi ma rilevanti per chi fa inferenza all'edge. Expat 2.9.0 è uscito con correzioni per CVE-2026-77214, una lettura fuori dai limiti in XML_ParseBuffer, secondo il blog del manutentore. Corregge anche CVE-2026-102633, un overflow di interi che riguarda le piattaforme a 32 bit. La release aggiunge una Properties API e una location API a 64 bit. Depreca la macro XML_LARGE_SIZE che dal 2006 divideva la compatibilità ABI. Il lavoro è stato finanziato dall'Open Source Sabbatical del Comune di Monaco di Baviera, ora al terzo mese di un piano da sei.

mold 3.0.0 è arrivato lo stesso giorno, riscritto da C++ a Rust. Le note di rilascio dicono che è un sostituto diretto della 2.42.1, con le stesse opzioni, gli stessi target e lo stesso output. Dicono che le prestazioni di linking sono equivalenti. L'argomento sulla sicurezza è concreto. La versione C++ poteva leggere fuori dai limiti su input corrotti e andare in segfault. La versione Rust controlla quei limiti e va in panic sull'accesso difettoso. La build ora usa Cargo e richiede Rust 1.95 o successivo.

Sul fronte dei modelli, Interfaze ha pubblicato Interfaze 1.1 Lite, un modello mixture-of-architectures. Gira su una sola GPU da 80 GB senza servizi esterni. Combina un nucleo di ragionamento visione-linguaggio con modelli specialistici per lettura di documenti, parlato, layout, segmentazione e previsione. La sua model card sostiene che una registrazione da 95 minuti viene trascritta in circa 90 secondi. Riporta un WER di 3,01 su VoxPopuli-Cleaned, dietro il 2,4 di Interfaze stesso ma davanti al 4,0 di Gemini-3-Flash. NASA e IBM hanno inoltre rilasciato il codice di fine-tuning per il NASA-IBM Lunar Foundation Model, con configurazioni TerraTorch per il rilevamento dei crateri e la prospezione del ghiaccio.

Niente di tutto questo si riduce a un singolo lancio di prodotto. È un gruppo di rilasci in un solo giorno, tutti nella stessa direzione. Meno parametri attivi, inferenza più economica per decisione e harness che trattano il contesto come un budget.

La domanda aperta è se le dichiarazioni sull'efficienza reggano il confronto con test indipendenti. Per Beam si comincia quando i pesi arriveranno, più avanti questo mese.