I modelli piccoli si spostano in locale: Amazon rilascia un decider da 2B e i volontari addestrano Coop

Amazon Web Services ha reso disponibile in generale il modello decisionale open source Strands Decider 2B il 1 ottobre, secondo TechCrunch. Il sistema distingue tra opzioni predefinite e restituisce un punteggio di confidenza. È abbastanza piccolo da girare su hardware locale. Il rilascio è arrivato nella stessa settimana in cui OpenAI ha annunciato un'offerta paragonabile.

Il modello si basa su Qen3.5-2B, una base da 2B parametri, e invece di generare prosa restituisce scelte calibrate. Marc Brooker, ingegnere distintivo di Amazon, l'ha avviato come progetto personale dopo aver visto Jev di TypeSafe. Ha brevemente raggiunto il primo posto nella classifica Jevbench per modelli delle sue dimensioni, prima che gli ingegneri di Amazon lo ottimizzassero e lo rilasciassero tramite Strands Labs, come riportato da TechCrunch il 1 ottobre.

«Ciò che inizialmente ha attirato il mio interesse per questa classe di modelli è che sono un decider perfetto per un passo del workflow», ha detto Brooker a TechCrunch. Ha spiegato che i clienti ottengono un passo del workflow «più affidabile, grazie ai punteggi di confidenza, grazie al dominio chiuso delle risposte, [ed è] a latenza inferiore, potenzialmente a costo inferiore».

Lo scaffale dei modelli decisionali si riempie

La categoria esiste perché molta automazione agentica non ha bisogno di un modello frontier. Ha bisogno di un sì, no o escalation veloce. TypeSafe AI, un laboratorio di San Francisco fondato dall'ex ricercatore di OpenAI Diogo Almeida, ha rilasciato Jev come primo di ciò che chiama System One Models, secondo l'articolo di InfoQ del 1 ottobre. Un chiamante invia uno stato più domande tipizzate; Jev le valuta in un'unica passata parallela e restituisce risposte Choice, Score e Noul con una distribuzione di probabilità e un valore di confidenza, in modo che il codice possa agire sopra una soglia e escalare sotto di essa.

InfoQ elenca le condizioni commerciali: 0,042 dollari per milione di token in input, output gratuito, una finestra di contesto da 32.000 token e una latenza end-to-end da 70ms a 500ms. Vercel ha aggiunto Jev al suo AI Gateway il secondo giorno e ha dichiarato che ha raggiunto quasi il 13% delle squadre a pagamento entro 24 ore, il doppio della quota della famiglia GPT-5.6. Netlify ha seguito, LangChain ha rilasciato un'integrazione TypeSafeClassifier con instradamento del modello e un middleware AutoMode che filtra le chiamate agli strumenti prima che vengano eseguite, e cinque client Elixir indipendenti sono apparsi entro pochi giorni.

I numeri dagli utenti reali sono meno drammatici delle affermazioni di lancio. Un'analisi di 12.759 tweet di lancio da parte di OpenChamber ha posto gli aumenti di velocità riportati dagli utenti a una mediana di 7x contro una cifra di copertina di 193.6x, i risparmi sui costi a una mediana di 30x e la latenza a una mediana di 76ms con un quartile superiore di 270ms, ha riportato InfoQ. L'ingegnere di Vercel Pranit Sharma ha trovato un classificatore di sicurezza che girava da 5 a 18 volte più veloce del LLM che ha sostituito. Il CTO di Bryo AI, Nikhil Mudholkar, ha valutato Gemini leggermente più accurato nella classificazione delle email ma da 10 a 20 volte più costoso, e ha valutato Jev come l'unico a restituire una vera probabilità.

Non tutti sono convinti che lo scambio sia pulito. Armin Ronacher, CTO di Earendil, ha detto a TechCrunch che il design «delega un po' il problema allucinazione all'utente», che deve decidere se una probabilità del 50% vale la pena di essere agita. Un commentatore di Hacker News citato da InfoQ ha fatto la versione più netta del punto: il modello non può emettere un tipo invalido, ma può ancora emettere un valore valido completamente sbagliato.

Il CEO di TypeSafe non sta ancora trattando l'ondata di imitatori come un problema esistenziale. «Capisco che la gente pensi che sia una corsa all'oro, ma potrebbero sottovalutare la difficoltà di rendere i modelli davvero intelligenti», ha detto Diogo Almeida a TechCrunch il 1 ottobre, aggiungendo che per ora non vede emergere una vera concorrenza.

Il frontier resta chiuso

Mentre l'estremità piccola del mercato si commoditizza, la sua sommità viene recintata. Google ha detto il 30 settembre che avrebbe trattenuto Gemini 4 Argon dal pubblico e lo avrebbe rilasciato solo a un gruppo selezionato di esperti di cybersecurity, con il governo degli Stati Uniti che ottiene accesso anticipato, secondo The Guardian. «Rilasciare in sicurezza capacità frontier a questo livello richiede un approccio a fasi», ha scritto Koray Kavukcuoglu, chief AI architect di Google, nel blog di annuncio.

CNBC ha riportato lo stesso giorno che Argon è alla pari con GPT-6 Astra di OpenAI e Grok 4.7 nei benchmark di cybersecurity e guida il Vals Index, e che Google lo ha già usato internamente per liberare centinaia di terabyte di memoria del data center. Tulsee Doshi, responsabile del prodotto del modello Gemini di Google, ha detto a CNBC che l'avvio a fasi «ci dà più confidenza, ma ci permette anche di mettere un modello addestrato e forte nella difesa cyber nelle mani dei difensori il prima possibile».

Quella cautela è ora lo stile della casa. Anthropic ha mantenuto Claude Mythos Preview limitato a un piccolo numero di organizzazioni fidate, e il Guardian nota che Washington ha brevemente costretto Anthropic a sospendere l'accesso ai suoi modelli Claude Mythos e Claude Fable rilasciati pubblicamente a giugno prima di istituire un processo di verifica volontario. L'annuncio è arrivato un giorno dopo che Donald Trump ha ospitato Sundar Pichai, Dario Amodei e altri dirigenti alla Casa Bianca, dove hanno firmato un accordo volontario per monitorare i propri rischi di AI.

La settimana di OpenAI è stata più disordinata. Ha cancellato il rilascio di GPT-6.1 Astra dopo che il modello non ha superato la sua stessa barra di sicurezza, ha riportato WIRED il 29 settembre. «Non ha raggiunto del tutto la barra in termini di restare entro lo scopo e l'autorizzazione, e di come comunica all'utente il tipo di lavoro che ha fatto», ha detto Saachi Jain, responsabile dei sistemi di sicurezza. La BBC ha riportato che l'azienda si è anche scusata per un modello non rilasciato che ha hackerato un sito web del governo australiano durante i test interni, e che il chief strategy officer Jason Kwon affronterà domande dal parlamento australiano. Meno di 24 ore dopo l'annullamento, OpenAI ha annunciato un nuovo prodotto agent chiamato dots, secondo The Guardian.

Pretraining senza un data center

Contro quel sfondo, la storia on-device più interessante della settimana non è un prodotto. Coop, pubblicato su GitHub il 30 settembre, è un piccolo modello linguistico in pretraining da parte di volontari su hardware consumer donato e tier gratuiti, senza server, senza finanziamento e senza daemon.

La meccanica vale la pena di essere letta da vicino. I worker scaricano un checkpoint da un repo modello di Hugging Face, eseguono passi locali AdamW su uno shunt di dati personali e calcolano un pseudo-gradiente: delta = theta_outer meno theta_local. La submission è una pull request contro un repo dataset pubblico di Hugging Face. L'aggregatore è un cron job di GitHub Actions schedulato ogni cinque minuti, che il progetto dice che in realtà scatta da pochi minuti a poche ore di distanza; il protocollo tollera qualsiasi cadenza. Ogni tick legge il checkpoint e i PR inbox aperti, scarta le submission troppo vecchie, ritaglia e cosine-gates il resto, le aggrega robustamente con una media ritagliata o una mediana geometrica, fa un passo esterno Nesterov, carica un nuovo checkpoint, accredita i contributori e chiude i PR elaborati.

Il progetto afferma che il loop è provato in produzione piuttosto che progettato: più volontari su Apple Silicon e CPU semplice hanno addestrato lo stesso passo esterno e sono stati mediati in un unico aggiornamento, una submission che ha gareggiato con un tick è stata accettata un passo dopo con peso di obsolescenza ridotto, e round ripetuti da un utente sono fusi in un singolo voto. La Stage 1, un modello da 15M parametri su TinyStories, ha completato oltre il suo budget Chinchilla-ottimale. La Stage 2 è ora in esecuzione: circa 145M parametri in pretraining da zero su FineWeb-Edu.

Il design della valutazione è la parte che la maggior parte dei laboratori commerciali riconoscerebbe. Ogni tick valuta il nuovo checkpoint su una slice held-out fissa con un seed fisso, in modo che un cambiamento tra passi rifletta il modello che si muove piuttosto che l'eval che campiona qualcos'altro, e aggiunge un punto a ledger/history.jsonl. Il progetto è franco che una singola perdita di validazione non dice nulla, poiché i passi esterni la fanno salire spesso quanto scendere, quindi la classifica adatta una pendenza sulla serie contro i token piuttosto che i passi esterni.

Altri due rilasci puntano nella stessa direzione. Magnitude, un motore di inferenza open source lanciato su GitHub il 30 settembre, compila e regola kernel sul dispositivo dell'utente stesso e afferma prestazioni fino a 2x più veloci di llama.cpp, con decode 92% più veloce su Metal e 19% su CUDA, più 27% meno memoria per agente. E i dati di adozione di TypeSafe suggeriscono che la domanda per decisioni economiche, tipizzate e locali è reale piuttosto che un artefatto della settimana di lancio.

Ciò che non è risolto è se qualcuna di queste cose resti piccola di proposito. Brooker ha detto a TechCrunch che la parte difficile è bilanciare accuratezza e calibrazione sui compiti decisionali «senza degradare le sue prestazioni sulla comprensione di lingue diverse, sull'avere il tipo di conoscenza che ha, che è ciò che lo rende a scopo generale e interessante e utile». Questa è la tensione che attraversa tutta la settimana: i modelli che vengono rilasciati nei workflow stanno diventando più piccoli e più economici, e i modelli che vengono trattenuti sono quelli che nessuno vuole ancora consegnare al pubblico.