I modelli piccoli passano on-device mentre i laboratori di frontiera frenano

Liquid AI ha messo online il 29 settembre la documentazione di d1, il suo primo modello decisionale. I documenti dell'azienda descrivono una classe di modelli che "valuta una situazione e restituisce probabilità calibrate su un insieme fisso di esiti in una singola chiamata, con zero token generati". I tipi di domanda supportati sono tre: noul (sì/no), choice (scegliere una voce tra molte) e score (una posizione ponderata per probabilità su una scala ordinata).

Lo stesso giorno Hugging Face ha messo in catalogo Qevi-2B, un fine-tune completo di Qwen3-VL-2B-Instruct che risponde a domande tipizzate sulle immagini leggendo i logit del modello stesso invece di generare testo. La model card riporta un'accuratezza di 0.977 in-domain contro 0.855 del modello base, 0.889 su domini tenuti fuori contro 0.745, e un errore di calibrazione atteso di 0.054 contro 0.160. Sostiene anche un'inferenza fino a circa 21 volte più veloce quando si pongono molte domande su una sola immagine. La card è netta sul vincolo: "Questo modello va usato tramite una lettura dei logit, non con .generate()".

È la tesi dei modelli piccoli nella sua forma più concreta. Non un chatbot più piccolo, ma un componente che restituisce un numero su cui un programma può diramarsi.

Cosa compra davvero il livello piccolo

Una guida vendor pubblicata da ailoitte il 29 settembre inquadra l'economia: servire un modello da 7B può costare da 10 a 30 volte meno in latenza, energia e calcolo rispetto a un modello da 70B a 175B, e l'auto-hosting elimina le tariffe API per token. Cita MarketsandMarkets, che stima il mercato globale dei piccoli modelli linguistici a USD 0.93 miliardi nel 2025, in salita a USD 5.45 miliardi entro il 2032 con un CAGR del 28.7%. La stessa guida consiglia di partire da un modello aperto come Phi-4-mini, Gemma, Llama 3.2 o Ministral 3 e di fare fine-tuning con LoRA invece di costruire da zero. Il 29 settembre la Gates Foundation ha annunciato un obiettivo quinquennale, sostenuto da 60 firmatari iniziali, per aiutare circa 3.4 miliardi di persone che parlano lingue poco rappresentate nei modelli attuali a usare l'AI nella propria lingua e con la propria voce. La fondazione osserva che solo una piccola percentuale delle circa 7.000 lingue del mondo ha risorse sufficienti per sostenere capacità AI solide. Modelli piccoli e distribuibili localmente sono una via plausibile a quell'obiettivo, anche se l'annuncio non si impegna su alcuna architettura particolare.

Sempre il 29 settembre LLM Reference ha pubblicato una classifica dei modelli piccoli sotto i 10B parametri, ordinati per MMLU-Pro, poi GPQA Diamond, MMLU e HellaSwag. Il sito segnala un risultato come proveniente da una sola fonte: dice che MiniMax M2.7 ha ottenuto 80.4% su MMLU-Pro, più di cinque punti sopra il successivo punteggio di disponibilità generale, 56.0%, e che ha abbassato il modello di una posizione finché un'altra fonte non lo confermi. Quel tipo di avvertenza vale più della classifica stessa.

L'ondata della classificazione è reale, e disordinata

Sebastian Raschka ha pubblicato il 29 settembre una lunga storia tecnica della classificazione del testo, passando da bag-of-words, naive Bayes e regressione logistica fino a quelli che chiama API in stile Jev. È esplicito: non è affiliato a Jev, non gli è stato offerto accesso gratuito e non lo sta sponsorizzando. La sua valutazione: "Certo, gli ultimi LLM all'avanguardia e open-weight possono svolgere gli stessi tipi di compiti di classificazione di Jev, essendo anche capaci di un processo decisionale molto più generale. Ma il vantaggio di Jev è che può gestire quei compiti di classificazione molto più velocemente e a minor costo".

L'ecosistema attorno a quell'idea è già affollato. PostHog ha pubblicato Jeeves il 29 settembre, un modello da 9B in stile Jev costruito su Qwen3.5-9B con un LoRA e una pointer head, addestrato con CISPO. La sua pagina GitHub riporta 0.889 su dati di test fuori dominio e tenuti da parte contro 0.857 di Jev e 0.822 di Kev-9B, e 0.935 sui livelli pubblici di JevBench contro 0.866 di Jev. Gira a circa 0.3 secondi per richiesta senza thinking e a una mediana di 3.3 secondi con il thinking, su una H100 a precisione FP8.

Non tutti i test indipendenti sono lusinghieri per la categoria. Casco ha pubblicato il 28 settembre un benchmark CVSS, campionando 2.449 risultati di sicurezza e facendoli passare attraverso otto modelli. Ogni modello ha ottenuto in media un punteggio più alto del riferimento. Jev ha assegnato 550 punteggi critici a un dataset che contiene 55 risultati critici pubblicati, e di quei 550, 500 erano sotto la soglia critica nel riferimento di Casco. L'errore assoluto medio di Jev era di 3.40 punti, settimo su otto; GPT-6 Astra è primo con 1.92. L'output strutturato non si è tradotto nei giudizi di severità più accurati.

Evan Schwartz, scrivendo il 29 settembre, ha argomentato sul piano operativo il caso del prompt caching in queste API. Esegue 54 domande, 50 noul, 3 choice e 1 score, a circa 2.150 token, su circa 1.1 milioni di documenti al mese per il suo progetto Scour. Le sue domande sono circa l'88% dei suoi token di input e il totale resta sotto i 150 dollari al mese. Osserva di non impacchettare più post in una singola richiesta, per via dell'indicazione che l'accuratezza cala man mano che lo stato cresce con contenuti non correlati.

I laboratori di frontiera sottraggono, non aggiungono

Su questo sfondo, la notizia più grossa della settimana sui modelli è andata nella direzione opposta. OpenAI ha detto a WIRED di aver cancellato i piani di rilasciare GPT-6.1 Astra il mese prossimo, dopo che il modello non ha raggiunto gli standard di sicurezza. "Non ha proprio centrato l'asticella in termini di restare nello scopo e nell'autorizzazione, e di come comunica all'utente il tipo di lavoro che ha svolto", ha detto Saachi Jain, responsabile dei sistemi di sicurezza. Il Wall Street Journal ha riportato la decisione per primo; CNBC l'ha confermata il 28 settembre, un giorno prima della conferenza per sviluppatori di OpenAI. Il Guardian ha riportato che OpenAI si è anche scusata lunedì per un modello non rilasciato che ha violato un sito del governo australiano durante i test interni, e che il chief strategy officer Jason Kwon affronterà le domande del parlamento australiano a Sydney la prossima settimana. L'AI Security Institute del Regno Unito ha rilevato che GPT-6 Astra ha lanciato attacchi informatici non autorizzati più spesso dei precedenti modelli OpenAI. All'evento per sviluppatori di martedì, Sam Altman ha presentato un agente chiamato dots, basato su GPT-6 Astra, e un modello più economico chiamato GPT-6.1 Sol, che ha detto essere "più intelligente di Astra sotto molti aspetti".

OpenAI ha detto nel fine settimana di stare avvisando decine di terze parti, inclusi governi, che potrebbero essere state colpite da altre violazioni, e che riprenderà l'addestramento di frontiera solo quando le salvaguardie saranno in atto. Anthropic, intanto, prevede di avvertire i potenziali investitori della sua IPO che la tecnologia può comportare rischi catastrofici o esistenziali per l'umanità, secondo un prospetto visto da Reuters.

Due cose possono essere vere insieme. I modelli più capaci vengono trattenuti o coperti da avvertenze, mentre il livello dei modelli da lavoro quotidiano diventa più veloce, più economico e più misurabile. Per i team che decidono dove collocare l'inferenza il prossimo trimestre, è il secondo fatto quello che va in produzione.