Piccoli modelli su dispositivo: il 91% dei segnali di entropia dei token è inutilizzabile, secondo un preprint
Nei piccoli modelli linguistici con meno di 3.000.000.000 di parametri i segnali di confidenza a livello di token non dicono nulla. Lo sostiene un preprint arXiv inviato il 21 luglio, che ha misurato un'entropia media dei token vicina allo zero nel 91% delle combinazioni dataset-modello, che la risposta fosse giusta o sbagliata.

Prashant Mudgal ha testato sette approcci su 7 coppie di modelli e 5 benchmark NLU standard, tutti eseguiti su hardware di consumo. La conclusione è netta: a questa scala l'arresto anticipato basato sull'entropia a livello di token non funziona. L'entropia semantica, calcolata generando più campioni e raggruppando le risposte per significato, restituisce un segnale utilizzabile. Mandare le richieste incerte a un modello esperto più grande ha alzato l'accuratezza fino a 50 punti percentuali.
L'instradamento tra famiglie diverse ha fatto segnare in media +22,0%, contro +6,8% per le coppie della stessa famiglia. L'esempio citato è SmolLM 360.000.000 che passa il testimone a Phi-3.5-mini. La tesi del preprint è che nei piccoli modelli il valore dei metodi basati sull'entropia non sta nel calcolo risparmiato ma nel calcolo allocato.
Perché il lavoro su dispositivo continua a crescere
Il momento conta. Il 27 settembre Nvidia ha rilasciato Nemotron 3 Diarization, un modello da circa 100.000.000 di parametri che identifica chi parla in una conversazione, con pesi scaricabili gratuitamente, come riportato da The Decoder. Separa fino a otto parlanti e segnala il parlato sovrapposto. Sul Diarization-Bench di VoiceArena è attualmente primo con un tasso di errore del 14,72%, davanti al secondo sistema migliore al 19,3%. Abbinato a un sistema di riconoscimento vocale come Parakeet, produce trascrizioni con etichette anonime dei parlanti. I tassi di errore salgono con più partecipanti, rumore di fondo o riverbero.
La latenza è un compromesso di progetto, non un guadagno gratuito. Il buffer audio si può impostare su quattro livelli, da 30,4 secondi fino a 0,32 secondi, e i buffer più corti in genere riducono l'accuratezza. Nvidia afferma che il modello taglia il tasso di errore in media del 41% su otto scenari di test rispetto al predecessore Streaming Sortformer con un buffer di 1,04 secondi. È il tipo di numero che conta quando il modello deve girare in locale anziché in un data centre.
La stessa settimana ha portato un progetto molto più grande, con una tesi molto più ristretta sull'automazione. Un gruppo che coinvolge ricercatori della Fudan University, in Cina, ha studiato il proprio lavoro di costruzione di Atria Dawn Preview, un modello linguistico agentico su architettura mixture-of-experts con 744.000.000.000 di parametri, secondo The Decoder. L'analisi ha coperto più di 700 log di attività di 56 partecipanti. L'IA è stata usata nel 96,5% dei compiti esaminati, e il rapporto mediano tra azioni dell'agente e input umani è salito da 11 a 28,5 nell'arco di quattro settimane. Gli autori invitano a non leggerlo come autonomia: ogni decisione umana ha semplicemente innescato più passaggi dell'agente.
Ai partecipanti è stato chiesto se avrebbero potuto completare la propria parte di un compito senza IA con la stessa portata e la stessa qualità. Dei 455 compiti completati con l'IA, 151 sono stati giudicati irrealizzabili senza IA, circa un terzo, distribuiti su 27 dei 56 partecipanti.
Gli umani hanno comunque preso l'85,5% delle decisioni su metodi e parametri, mentre l'IA ne ha prese il 9,2%, e gli umani hanno avuto l'ultima parola su obiettivi e portata nel 93,4% dei casi. Quando qualcosa è andato storto, su 588 compiti con una difficoltà registrata, il 76% è andato avanti grazie all'intervento umano e il 23% è stato risolto dall'agente da solo. Il preprint avverte che quando ogni decisione poggia su una catena di lavoro dell'agente più lunga di quanto un umano possa esaminare, la supervisione si riduce a un timbro.
Modelli economici, domande costose
Il costo sta ridisegnando quali modelli vengono usati. CNBC ha riferito il 26 settembre che i modelli cinesi hanno rappresentato dal 57% al 67% dei token usati su OpenRouter nella settimana del 14 settembre, in crescita dal 6% al 13% di febbraio, e hanno raggiunto il 55% dei token su Vercel ad agosto dall'11% di gennaio. Peter Walker, head of insights di OpenRouter, ha detto a CNBC che i modelli open source cinesi rilasciati quest'anno possono gestire in modo credibile compiti agentici avanzati, soprattutto il coding, cosa che non era vera alla fine del 2025, e costano poco rispetto alla maggior parte dei modelli dei laboratori statunitensi. Harpreet Arora, head of agentic infrastructure di Vercel, ha detto che il prezzo diventa convincente una volta che un modello supera la soglia di qualità per un lavoro.
Washington osserva. Due commissioni della Camera degli Stati Uniti stanno indagando sulla tendenza all'adozione, e CNBC nota che i modelli di frontiera statunitensi attraggono ancora più spesa complessiva. Daniel Remler del Center for a New American Security ha detto all'emittente che la preoccupazione è che l'integrazione trascini i paesi nella sfera tecnologica cinese. I dati citati da CNBC sono disomogenei: circa metà dei token su OpenRouter proviene da aziende statunitensi, mentre le imprese degli 82 paesi che OpenRouter raggruppa come Global South inviano il 67% dei propri token ai modelli cinesi.
I piccoli modelli stanno scomodi in questa partita. Girano sul dispositivo, il che aggira alcuni argomenti sui controlli all'esportazione, ma la loro affidabilità è esattamente ciò che il preprint arXiv mette in dubbio. Il risultato sull'instradamento suggerisce che la risposta pratica non è un piccolo modello migliore da solo, ma un piccolo modello che sa quando chiedere aiuto.
Fonti
6- 01Do small language models know what they don't know?EN
- 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
- 03AI agents do more of the work in model development, but humans still make the decisionsEN
- 04Chinese AI models surge in global popularity — and Washington is worriedEN
- 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
- 06OpenAI pauses training of its 'most capable models'EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.