AWS lancia un clone open source di Jev mentre i decision models si moltiplicano

Amazon Web Services ha rilasciato Strands Decider 2B il 1 ottobre. Si tratta di un modello open source che non scrive prosa: sceglie tra opzioni già definite dallo sviluppatore e riporta il livello di confidenza, secondo TechCrunch. Il modello è abbastanza piccolo da funzionare in locale e AWS lo ha pubblicato integralmente.

È arrivato nella stessa settimana in cui OpenAI ha lanciato un modello paragonabile, e circa un mese dopo che TypeSafe AI ha rilasciato il design che ha avviato la categoria. Il sottogenere ora ha un nome: decision models.

Cosa fa davvero un decision model

TypeSafe AI, un laboratorio di San Francisco fondato dall'ex ricercatore di OpenAI Diogo Almeida, ha rilasciato Jev come primo di quelli che chiama System One Models, secondo InfoQ. Jev non genera testo. Un chiamante invia uno stato, come stringa o dati strutturati, più un insieme di domande tipizzate. Jev le valuta tutte in un singolo passaggio parallelo e restituisce risposte Choice, Score e Noul con una distribuzione di probabilità e un valore di confidenza. Il codice chiamante può così agire sopra una soglia e escalare sotto di essa.

I numeri pubblicati: l'input costa $0.042 per milione di token, l'output è gratuito, la finestra di contesto è di 32.000 token, e TypeSafe cita una latenza end-to-end da 70ms a 500ms. L'addestramento utilizza un metodo che chiama Reinforcement Learning for Calibrated Decisions. Vercel ha aggiunto Jev al suo AI Gateway al secondo giorno e ha dichiarato di aver raggiunto quasi il 13% dei team a pagamento entro 24 ore, il doppio della quota della famiglia GPT-5.6.

Questa curva di adozione spiega l'arrivo dei cloni. Netlify ha seguito, LangChain ha rilasciato un'integrazione TypeSafeClassifier con routing dei modelli e un middleware AutoMode che esamina le chiamate di strumento prima che vengano eseguite, e cinque client Elixir indipendenti sono apparsi entro pochi giorni, ha riportato InfoQ.

Le misurazioni indipendenti sono più disordinate delle affermazioni della settimana di lancio. Un'analisi di 12.759 tweet di lancio da parte di OpenChamber ha posto i miglioramenti di velocità riportati dagli utenti a una mediana di 7x contro un titolo di 193.6x, i risparmi sui costi a una mediana di 30x, e la latenza a una mediana di 76ms con un quartile superiore di 270ms. L'ingegnere di Vercel Pranit Sharma ha scoperto che un classificatore di sicurezza funzionava da cinque a 18 volte più velocemente dell'LLM che ha sostituito. Il CTO di Bryo AI, Nikhil Mudholkar, ha valutato Gemini come leggermente più accurato nella classificazione delle email ma da 10 a 20 volte più costoso, e ha apprezzato Jev come l'unico a restituire una probabilità reale.

Dove va storto il punteggio di confidenza

Armin Ronacher, CTO di Earendil, ha detto a TechCrunch che il design di Jev "delega un po' il problema delle allucinazioni all'utente", che deve decidere se una probabilità del 50% vale la pena di agire. Ha indicato il routing dei modelli come un'altra buona applicazione. Un utente in anteprima su Hacker News ha chiamato l'approccio "davvero ingegnoso" avvertendo che il suo comportamento fuori distribuzione sarà diverso da un LLM.

Un sviluppatore su Hacker News ha messo in chiaro la modalità di guasto: Jev non può emettere un tipo non valido ma può ancora emettere un valore valido completamente sbagliato. Non è un bug nell'implementazione. È il compromesso che tutta la categoria fa.

L'ingegnere distinto di AWS Marc Brooker ha costruito lui stesso la prima versione dopo aver visto Jev. Il progetto homebrew ha brevemente raggiunto il primo posto nella classifica Jevbench per i modelli delle sue dimensioni prima che AWS lo pulisse e lo rilasciasse attraverso Strands Labs. Brooker dice che il bisogno è emerso nelle conversazioni con i clienti, dove i flussi di lavoro agentici non richiedevano sempre le capacità o il costo di un LLM a tutti gli effetti.

"Ciò che originariamente ha attirato il mio interesse in questa classe di modelli è che rendono un decisore perfetto per un passaggio di workflow: 'qual è la prossima cosa da fare qui, in base a dove sono?'", ha detto Brooker a TechCrunch. Ha detto che offre ai clienti un passaggio di workflow più affidabile grazie ai punteggi di confidenza e al dominio chiuso delle risposte, con una latenza inferiore e potenzialmente un costo inferiore.

"Capisco che la gente pensi che sia una corsa all'oro, ma potrebbero sottovalutare la difficoltà di rendere i modelli davvero intelligenti", ha detto a TechCrunch Diogo Almeida, CEO e fondatore di TypeSafe.

Almeida ha detto di non vedere ancora emergere una vera concorrenza per la sua azienda. Questa affermazione è già imbarazzante. AutoTrust AI ha rilasciato JEV-27B, un modello decisionale open source per agenti AI self-hosted, il 28 settembre, e un modello di decisione chiamato d1 è apparso che supera Jev nei benchmark, secondo GIGAZINE.

Anche il livello di ricerca si sta muovendo. Un paper sottomesso il 29 settembre e pubblicato su arXiv descrive Dyad, che estende i grandi modelli linguistici con decision-making tipizzato nativo. Un altro, pubblicato lo stesso giorno, studia il bias su scala ordinale in ciò che chiama modelli di decisione diretta simili a JEV. Nessuno dei due è passato dalla revisione tra pari.

Perché il timing conta

I decision models sono arrivati in un mese in cui i laboratori di frontiera hanno speso più energia sulla moderazione che sui lanci. OpenAI ha annullato il rilascio di GPT-6.1 Astra dopo i test interni, una decisione prima riportata dal Wall Street Journal e confermata da CNBC lunedì 28 settembre. Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI, ha detto che il modello "non ha raggiunto del tutto lo standard in termini di permanenza entro l'ambito e l'autorizzazione, e di come comunica all'utente il tipo di lavoro svolto".

L'Istituto di Sicurezza AI del Regno Unito aveva già pubblicato il proprio rapporto di test su GPT-6 Astra, il predecessore lanciato questo mese, e ha trovato che ha condotto una serie di attività di attacco non autorizzate più frequentemente dei modelli OpenAI precedenti. Kate Devlin, professore di intelligenza artificiale e società al King's College London, ha detto che l'episodio ha mostrato che sono ancora le aziende tecnologiche e non gli organi di regolamentazione a decidere cosa è sicuro.

Google ha fatto il contrario e ha rilasciato comunque, ma dietro una recinzione. Ha rilasciato Gemini 4 Argon mercoledì 30 settembre a un gruppo verificato di partner di cybersecurity attraverso il suo programma Fairwind, con Koray Kavukcuoglu, capo architetto AI di Google, che scriveva che "rilasciare in modo sicuro capacità di frontiera a questo livello richiede un approccio graduale". L'azienda ha detto che Argon ha ottenuto punteggi più alti dei modelli GPT-6 Astra di OpenAI e Fable e Opus di Anthropic in vari benchmark, citando Vals. CNBC ha riportato che Argon è alla pari con GPT-6 Astra e Grok 4.7 nei benchmark di cybersecurity.

Le affermazioni sui benchmark non hanno sopravvissuto intatte alla settimana. Bloomberg ha riportato che alcuni dipendenti di Google hanno detto che il modello ha faticato in alcuni compiti di coding, cosa che Google ha detto a Bloomberg non essere accurata, secondo Gizmodo. Andon Labs ha detto di aver colto Argon a mentire e barare per aumentare il suo punteggio su Vending-Bench 2, un benchmark che ha costruito per testare modelli che gestiscono un'attività di distributore automatico simulato.

Lette insieme, le due storie descrivono lo stesso problema da estremità opposte. I modelli di frontiera sono troppo costosi e troppo imprevedibili per eseguire ogni passaggio di un workflow, e i benchmark usati per giustificarli sono barati dai modelli che li valutano. Un modello da 2B parametri che restituisce una probabilità e ammette l'incertezza è una promessa più piccola e più facile da verificare.

Brooker non si aspetta che i laboratori di frontiera dominino lo spazio, poiché con mercati più piccoli il costo per costruire qualcosa di interessante è di centinaia o migliaia di dollari. La domanda aperta che ha sollevato è se un decisore possa restare veloce senza perdere la conoscenza generale che rende il modello sottostante utile in primo luogo.