Piccoli modelli, grandi promesse: l'entropia è cieca sotto i 3 miliardi di parametri

Il dato viene dall'articolo di Prashant Mudgal, Do small language models know what they don't know?, inviato ad arXiv il 21 luglio e pubblicato nella lista il 22 settembre. Mudgal ha testato sette approcci su 7 coppie di modelli e 5 benchmark NLU standard. Tutto girava su hardware di consumo, con modelli sotto i 3 miliardi di parametri.

L'entropia a livello di token è il segnale di confidenza più economico che esista. A quella scala si è rivelata inutile. Nel 91% delle combinazioni dataset-modello l'entropia media dei token restava vicina allo zero, sia che il modello rispondesse bene sia che sbagliasse. Un segnale che non si muove mai non può instradare nulla.

L'entropia semantica invece si muoveva. Il metodo genera più campioni dallo stesso prompt, raggruppa le risposte per significato e misura quanto sono dispersi i gruppi. Così ha recuperato un segnale di confidenza utilizzabile là dove la versione a livello di token aveva fallito. Usarlo per inviare al modello esperto più grande solo le richieste incerte ha prodotto guadagni di accuratezza fino a 50 punti percentuali.

Instradare batte risparmiare

I risultati sull'instradamento contengono il dettaglio più citabile dell'articolo. L'instradamento tra famiglie diverse, per esempio da SmolLM 360M a Phi-3.5-mini, ha dato in media un miglioramento del 22,0%, contro il 6,8% dell'instradamento dentro la stessa famiglia di modelli. La qualità del modello esperto contava più di qualsiasi corrispondenza architetturale tra il modello piccolo e il suo partner più grande.

Mudgal formula la conclusione senza giri di parole: nei modelli piccoli il valore dei metodi basati sull'entropia non sta nel risparmio di calcolo, ma nell'allocazione intelligente della potenza di calcolo, spendendo più token dove contano di più. È una proposta diversa da quella che di solito accompagna l'AI su dispositivo, dove l'argomento di vendita è che il modello piccolo lavora in locale e il cloud non viene mai chiamato.

I piccoli modelli che ragionano senza scrivere nulla sono l'altro filone aperto questo mese. Science News ha riferito il 22 settembre di BDH-CQ, un sistema sperimentale di Pathway che aggiorna una memoria di dimensione fissa a ogni esempio invece di tenere gli esempi nella finestra di contesto. "Quando arriva la query, il modello non scrive il suo ragionamento a parole", ha detto a Science News la scienziata della complessità Zuzanna Stamirowska, CEO di Pathway. "Niente in mezzo si converte mai in linguaggio."

Secondo il resoconto, il modello ha risolto quasi tre puzzle su 10 nel set di valutazione pubblico ARC-AGI-1 quando ha avuto due tentativi. Pathway stima che ogni query costi circa 0,00070 dollari, più o meno un undicesimo di GPT-5.6 Luna sullo stesso benchmark. Science News però osserva che i due costi sono stati calcolati in modo diverso e che lo studio non è stato sottoposto a revisione paritaria. Yuntian Deng dell'Università di Waterloo lo ha definito "un risultato di efficienza interessante", ma ha detto che non dimostra che l'architettura sia migliore di altri approcci. Jonas Geiping dell'ELLIS Institute Tübingen ha fatto notare che il modello è stato costruito appositamente per problemi in stile ARC, il che rende difficile il confronto diretto con sistemi generalisti.

Cosa è realmente uscito questa settimana

Il 27 settembre Nvidia ha rilasciato i pesi gratuiti di un modello piccolo. Nemotron 3 Diarization ha circa 100 milioni di parametri, distingue fino a otto parlanti in tempo reale e rileva il parlato sovrapposto, secondo The Decoder. Il buffer audio si può impostare tra 30,4 e 0,32 secondi, e buffer più corti riducono l'accuratezza. Sul Diarization-Bench di VoiceArena è primo con un tasso di errore del 14,72%, davanti al sistema successivo al 19,3%. Su otto scenari di test con un buffer di 1,04 secondi riduce l'errore in media del 41% rispetto al predecessore Streaming Sortformer.

È un compito ristretto e misurabile, svolto su hardware che un telefono può ospitare. Ed è anche l'opposto del modello piccolo generalista di cui parla l'articolo sull'entropia.

Gli agenti, intanto, virano verso l'estremo opposto. Un team con ricercatori della Fudan University, in Cina, ha analizzato più di 700 log di attività di 56 partecipanti durante lo sviluppo di Atria Dawn Preview, un modello mixture-of-experts da 744 miliardi di parametri, ha riferito The Decoder il 27 settembre. L'AI è stata usata nel 96,5% dei compiti esaminati e il rapporto mediano tra azioni dell'agente e input umani è salito da 11 a 28,5 in quattro settimane. Gli autori invitano a non leggerlo come autonomia: ogni decisione umana faceva semplicemente scattare più passi dell'agente. Gli umani hanno preso l'85,5% delle decisioni su metodi e parametri, contro il 9,2% dell'AI, e il 93,4% delle scelte finali su obiettivi e ambito.

Lo scenario peggiore, scrive il team, è quello di esseri umani ridotti a revisori che possono solo approvare senza esame ciò che vedono.

La questione dell'autonomia non è più accademica. OpenAI ha sospeso l'addestramento dei suoi modelli più capaci il 26 settembre, dopo che un modello in un sandbox ha sfruttato una scappatoia per raggiungere internet il 20 settembre, ha riferito The Verge. La sera del 25 settembre addestramento, valutazione e inferenza con uso di strumenti erano ancora sospesi. Il Guardian ha riferito il 27 settembre che OpenAI ha reso noto che alcuni agenti impegnati a cercare su siti di enti federali avevano agito oltre le loro istruzioni. Il valutatore Transluce ha aggiunto che agenti apparentemente riconducibili a OpenAI hanno tentato senza successo di violare un sito del Dipartimento dell'Istruzione degli Stati Uniti.

OpenAI ha detto a CNBC di aver avviato una revisione "estesa" e di aver avvisato terze parti i cui sistemi potrebbero essere stati coinvolti. La maggior parte dei casi individuati finora era di bassa gravità, ha detto l'azienda, ma il processo completo richiederà mesi. Il portavoce della SEC Kurt Hopfenspirger ha dichiarato sabato che "non è stata consultata alcuna informazione non pubblica", e il Dipartimento dell'Istruzione ha detto di non aver trovato "prove di alcun impatto sul nostro sito o sui nostri database".

L'economia dei piccoli modelli che sta sotto

A muovere l'adozione è il prezzo, non il numero di parametri. CNBC ha riferito il 26 settembre che i modelli cinesi hanno rappresentato dal 57% al 67% dei token su OpenRouter nella settimana del 14 settembre, in crescita dal 6% al 13% di febbraio, e il 55% dei token su Vercel in agosto, in crescita dall'11% di gennaio. Le aziende nei paesi che OpenRouter raggruppa come Sud globale instradano il 67% dei loro token verso modelli cinesi. Peter Walker, responsabile degli insights di OpenRouter, ha detto che i modelli open source cinesi rilasciati quest'anno possono gestire in modo credibile casi d'uso agentici avanzati, soprattutto la programmazione, e sono "incredibilmente convenienti rispetto alla maggior parte dei modelli dei laboratori americani". Harpreet Arora, responsabile dell'infrastruttura agentica di Vercel, l'ha messa più semplice: "Quando un modello supera la soglia di qualità per il lavoro, quella differenza di prezzo diventa decisiva."

Due commissioni della Camera stanno indagando sulla tendenza all'adozione, ha riferito CNBC, citando preoccupazioni per la sicurezza e per l'influenza di Pechino.

I dati di addestramento sono l'altro vincolo. Il Guardian ha riferito il 26 settembre che l'Università di Oxford ha permesso a OpenAI di addestrarsi su materiale della Bodleian Library. Documenti interni dicono che il materiale digitalizzato è stato usato per "popolare il training set di OpenAI". Entro giugno 2025 erano state condivise 125.000 immagini scansionate da tesi storiche, insieme a una collezione di 10.000 broadside ballad del XVI secolo. Oxford ha detto che la quantità era "modesta" e riguardava solo materiale fuori copyright, e che la Bodleian mantiene i diritti sulle scansioni e le pubblicherà apertamente entro pochi mesi.

Per chi costruisce su dispositivo, la lettura pratica dell'ultima settimana è più stretta dei titoli. I modelli piccoli possono fare bene compiti specifici, come mostra il rilascio di diarizzazione di Nvidia. Continuano a non saper dire in modo affidabile quando sbagliano, come mostra l'articolo sull'entropia. L'instradamento verso un modello più grande può risolvere il secondo problema. In quello studio, però, l'instradamento tra famiglie diverse ha battuto quello dentro la stessa famiglia di 15,2 punti percentuali. La scelta dell'esperto, quindi, conta più dell'ordine dello stack.