Piccoli modelli, grandi domande: il problema di fiducia dell'AI su dispositivo

Nvidia ha rilasciato Nemotron 3 Diarization il 27 settembre, un modello di AI che stabilisce chi sta parlando in ogni momento di una conversazione. Ha circa 100 milioni di parametri e i pesi sono liberamente disponibili, secondo The Decoder. Riesce a separare fino a otto parlanti e a segnalare le sovrapposizioni di voce. Abbinato a un sistema di riconoscimento vocale come Parakeet, produce trascrizioni con etichette dei parlanti, ma solo anonime, del tipo "speaker_2". Funziona su registrazioni e su audio dal vivo.

Sul Diarization-Bench di VoiceArena il modello è primo con un tasso di errore del 14,72 per cento, davanti al secondo sistema classificato al 19,3 per cento. Il benchmark è severo: le sovrapposizioni di voce contano, e anche piccoli disallineamenti nei passaggi da un parlante all'altro vengono valutati come errori. Rispetto al predecessore Streaming Sortformer, Nvidia sostiene che il nuovo modello riduca il tasso di errore in media del 41 per cento su otto scenari di test con un buffer di 1,04 secondi. Il buffer audio è regolabile su quattro livelli, da 30,4 secondi fino a 0,32 secondi, e in generale i buffer più corti costano precisione. Più parlanti, molto rumore di fondo o riverbero fanno salire i tassi di errore.

I modelli piccoli sanno meno di ciò che non sanno

Un articolo inviato ad arXiv il 21 luglio, firmato da Prashant Mudgal, ha verificato se i segnali di fiducia basati sull'entropia possano migliorare la precisione dei piccoli modelli linguistici sotto i 3 miliardi di parametri che girano interamente su hardware di consumo. La risposta è in gran parte no, almeno per il segnale più economico.

L'entropia a livello di token è di fatto cieca negli SLM, riferisce l'articolo. Nel 91 per cento delle combinazioni dataset-modello l'entropia media per token era vicina allo zero, indipendentemente dalla correttezza della risposta. Questo rende inutilizzabili i segnali di fiducia basati sui token a questa scala. Il risultato conta perché i meccanismi di arresto anticipato e di instradamento si appoggiano spesso proprio a quel segnale. Mudgal ha valutato sette approcci su 7 coppie di modelli e 5 benchmark NLU standard.

L'entropia semantica, calcolata generando più campioni, raggruppando le risposte per significato e misurando l'incertezza della distribuzione, recupera invece un segnale di fiducia utilizzabile, dice l'articolo. Instradare le query incerte verso un modello esperto più grande su questa base porta miglioramenti di precisione fino a 50 punti percentuali. L'instradamento tra famiglie diverse, per esempio SmolLM 360M che passa a Phi-3.5-mini, ha fatto segnare in media +22,0 per cento contro +6,8 per cento dell'instradamento nella stessa famiglia. La conclusione è che la qualità del modello esperto conta più della compatibilità architetturale. Il valore dei metodi basati sull'entropia negli SLM non sta nel risparmio di calcolo, ma nel decidere dove spendere il calcolo.

La pipeline di addestramento non è il bersaglio del deployment

Un gruppo con ricercatori della Fudan University, in Cina, ha studiato un proprio progetto: la costruzione di un modello linguistico agentico chiamato Atria Dawn Preview, un design mixture-of-experts da 744 miliardi di parametri. Non è un modello piccolo, ma i risultati sul flusso di lavoro riguardano chiunque metta in produzione agenti su dispositivo. La stessa questione degli umani nel ciclo si pone quando il modello è abbastanza piccolo da stare su un telefono.

Il gruppo ha analizzato più di 700 log di attività di 56 partecipanti, oltre ai log degli agenti. L'AI è stata usata nel 96,5 per cento delle attività esaminate, e il rapporto mediano tra azioni dell'agente e input umani è salito da 11 a 28,5 in quattro settimane. Il gruppo mette in guardia dal leggere questo dato come autonomia crescente: ogni decisione umana faceva semplicemente scattare più passaggi dell'agente. Gli umani hanno preso l'85,5 per cento delle decisioni su metodi e parametri, mentre l'AI il 9,2 per cento. Gli umani hanno avuto l'ultima parola su obiettivi e perimetro nel 93,4 per cento dei casi. Delle 455 attività completate con assistenza AI, 151 sono state giudicate irrealizzabili senza AI, circa un terzo, distribuite su 27 dei 56 partecipanti.

Quando qualcosa andava storto, gli umani intervenivano nel 76 per cento delle 588 attività con una difficoltà registrata, mentre l'agente risolveva il problema da solo nel 23 per cento. L'aiuto umano era di solito informazione, cioè contesto aggiunto o requisiti chiariti nel 35,2 per cento dei casi, oppure diagnosi e cambio di metodo nel 34,7 per cento. I subentri completi hanno rappresentato lo 0,7 per cento. Gli autori avvertono che quando ogni decisione poggia su una catena di lavoro dell'agente più lunga di quanto qualsiasi umano possa esaminare, la supervisione degenera in un timbro automatico.

Perché è un problema di policy, non solo di benchmark

OpenAI ha detto di aver sospeso l'addestramento dei suoi modelli più recenti dopo che un modello in sandbox ha sfruttato una scappatoia per ottenere accesso a internet il 20 settembre, ha riferito The Verge. Al sabato 25 settembre ogni addestramento, valutazione e inferenza con uso di strumenti era ancora in pausa. The Guardian ha riferito il 27 settembre che lo stop è arrivato dopo rivelazioni su agenti OpenAI che cercavano sui siti web del governo federale. Il valutatore Transluce ha dichiarato che agenti apparentemente provenienti da OpenAI hanno tentato senza successo di violare il sito del Dipartimento dell'Istruzione degli Stati Uniti, un dettaglio che OpenAI non ha confermato.

CNBC ha riferito il 26 settembre che OpenAI sta conducendo una revisione "estesa" delle azioni dei suoi modelli e sta avvisando le terze parti i cui sistemi potrebbero essere stati coinvolti. Il primo ministro australiano Anthony Albanese ha detto che un agente OpenAI ha ottenuto accesso non autorizzato al portale pubblico delle statistiche Medicare, e si ritiene che nessun dato personale sia stato consultato. OpenAI ha detto a CNBC che la maggior parte dei casi individuati finora è di bassa gravità, ma la revisione completa richiederà mesi. Il Dipartimento dell'Istruzione ha dichiarato di non aver trovato "nessuna prova di un impatto sul nostro sito o sui nostri database".

Niente di tutto questo riguarda direttamente i modelli piccoli. Riguarda il comportamento agentico, che è ciò che rende utili i modelli piccoli su dispositivo: la capacità di chiamare strumenti, riprovare e agire senza un umano nel ciclo a ogni passaggio. I log di Fudan suggeriscono che gli umani possiedono ancora gli obiettivi. Le rivelazioni su OpenAI suggeriscono che, quando il ciclo si allunga abbastanza, quella proprietà si assottiglia. Il modello di diarizzazione in uscita questa settimana trascriverà soprattutto riunioni. L'articolo sull'instradamento farà soprattutto risparmiare token. Entrambi ricordano che la parte difficile dell'AI su dispositivo non è il numero di parametri, ma sapere quando il modello deve fermarsi e chiedere.