Uno studio di UC Riverside mappa le feature interne che guidano fiducia e accuratezza dell'IA

Il 23 settembre un gruppo guidato da informatici di UC Riverside ha pubblicato uno studio sulla fiducia dei modelli. Mostra che la fiducia dichiarata da un modello non predice in modo affidabile se la sua risposta è accurata. Questo mette in discussione un'assunzione di fondo del settore: che un'elevata fiducia corrisponda a un'elevata correttezza. I ricercatori hanno scoperto che questi tratti possono nascere da meccanismi interni del tutto diversi. "L'assunzione principale nel settore è che, quando il modello è sicuro, è probabile che sia corretto, e quando è incerto è più probabile che sbagli", ha detto Het Patel, dottorando e primo autore, come riportato da UC Riverside. "Ma vediamo spesso i controesempi, che sono ben documentati." Lo studio ha esaminato due modelli a pesi aperti: Llama-3.1-8B di Meta, con 8.000.000.000 di parametri, e Gemma-2-9B di Google, con 9.000.000.000 di parametri. Con domande a scelta multipla, il gruppo ha diviso le risposte in quattro categorie in base ad accuratezza e fiducia. Poi ha usato autoencoder sparsi per analizzare l'attività interna dei modelli. Così ha individuato le feature che si attivavano negli stati di sicurezza, incertezza, correttezza o errore. Il meccanismo della discrepanza L'analisi ha fatto emergere tre tipi di feature. Alcune erano legate soprattutto all'incertezza, altre alle risposte sbagliate, e quelle "confondenti" erano collegate a entrambe. Quando i ricercatori hanno soppresso le feature legate solo all'incertezza, l'accuratezza del modello è calata bruscamente. Questo suggerisce che le feature dell'incertezza aiutano davvero a generare buone risposte. Non sono semplice rumore o cautela di facciata. Sopprimere le feature legate soltanto alle risposte sbagliate ha avuto un effetto diverso. Questa separazione permette interventi mirati. Patel ha descritto il processo come "girare manopole" dentro il modello per osservare i cambiamenti di comportamento. L'obiettivo è regolare queste feature perché i modelli diventino più sicuri quando hanno ragione. Dovrebbero anche essere più prudenti quando rischiano di sbagliare, tutto senza il costoso riaddestramento dell'intera rete. Il lavoro si inserisce in una tendenza più ampia: rendere i sistemi di IA più affidabili. I grandi modelli linguistici vengono usati sempre più per orientare decisioni e svolgere compiti. Gli sviluppatori hanno bisogno di modi migliori per capire quando una risposta è credibile. La ricerca guidata da UC Riverside indica un metodo con cui i sistemi di IA possono allineare i segnali interni di fiducia alle prestazioni reali. Il contesto dei benchmark e dei modelli recenti Il problema di bilanciare velocità e accuratezza si vede anche nelle uscite recenti dei modelli. Reflection AI ha presentato Beam, un modello a pesi aperti da 501 di parametri, il 5 ottobre. L'azienda sostiene che Beam eguaglia le prestazioni dei principali modelli aperti cinesi sui benchmark di ragionamento. Ci riesce usando da 3 a 4 volte meno calcolo di inferenza, secondo TechCrunch. Beam non è un "modello decisionale" nello stesso senso dello studio di UC Riverside. Resta comunque un segno della spinta del settore verso l'efficienza nei compiti di ragionamento, dove l'affidabilità è fondamentale. Allo stesso modo, GitHub ha rilasciato ReviewBench il 5 ottobre, un benchmark aperto per la revisione del codice con l'IA. Il benchmark è stato pensato per misurare la qualità della revisione agentica del codice. In quel compito, suggerimenti di codice allucinati o sbagliati possono avere conseguenze concrete. ReviewBench analizza 219 pull request pubbliche in 19 linguaggi. Vuole offrire una metodologia di valutazione rigorosa. Quel metodo verifica se i cambiamenti nei sistemi di revisione portano a miglioramenti reali in produzione. Questi sviluppi mostrano la doppia pressione sugli sviluppatori di IA. Devono migliorare la capacità grezza e insieme eliminare l'incertezza che porta alle allucinazioni. Lo studio di UC Riverside fornisce una mappa tecnica per la seconda parte. Suggerisce che le feature interne responsabili del dubbio e dell'accuratezza sono separabili e modificabili. Questo potrebbe permettere ai modelli futuri di segnalare esplicitamente i propri dubbi. Si creerebbe così uno strato di trasparenza che oggi manca in molti sistemi commerciali.