Nuovi benchmark e studi contro i modelli di IA che sembrano sicuri e sbagliano

Il 5 ottobre Reflection ha presentato Beam, il suo primo modello open-weight. È un mixture-of-experts sparso con 501.000.000.000 di parametri totali e 23.000.000.000 attivi, preaddestrato su 23.800.000.000.000 di token. Il blog dell'azienda dice che i pesi, il rapporto tecnico e la model card arriveranno «più avanti questo mese». Dice anche che Beam è ancora in fase di red-teaming finale.

I numeri di Reflection mostrano a che punto è. Su SWE Bench Pro v2-Hard Beam segna 77,2 contro 88,2 di Kimi K3. Su Terminal Bench v2.1 arriva a 80,1, mentre K3 raggiunge 88,3 e DeepSeek V4.1 Flash 90,6. La proposta non è il primato ma il costo. Beam dichiara punteggi di ragionamento paragonabili a GLM-5.2 usando da 3 a 4 volte meno calcolo di inferenza, secondo lo stesso post.

Perché una risposta sicura non è una risposta corretta

Il problema di valutazione che sta sotto quelle tabelle ha un risvolto di ricerca. Un gruppo della UC Riverside, guidato dallo studente di dottorato Het Patel, ha esaminato Llama-3.1-8B di Meta e Gemma-2-9B di Google con autoencoder sparsi. Ha diviso le risposte a scelta multipla in quattro gruppi, a seconda che fossero giuste o sbagliate e che il modello fosse sicuro o incerto. Il gruppo ha trovato feature legate soprattutto all'incertezza, feature legate soprattutto alle risposte sbagliate e altre che si sovrappongono. Sopprimere le feature legate solo all'incertezza ha fatto crollare l'accuratezza, secondo il comunicato dell'università.

«L'assunto principale del settore è che quando il modello è sicuro è probabile che sia corretto, e quando è incerto è più probabile che sbagli», ha detto Patel nel comunicato della UCR. «Ma vediamo spesso i controesempi, che sono ben documentati».

La tesi pratica è che alcune di quelle feature interne si possono abbassare senza riaddestrare tutto il modello. Patel lo paragona a girare delle manopole. Conta perché la soluzione abituale per un modello troppo sicuro di sé è un altro ciclo di addestramento. La misura abituale di un modello troppo sicuro è un benchmark che valuta le risposte, non il senso di dubbio del modello stesso.

I benchmark cominciano a essere costruiti per il dubbio

Il 5 ottobre GitHub ha pubblicato ReviewBench, un benchmark aperto per la revisione del codice con l'IA. Nasce dall'analisi di 103.900.000 pull request su GitHub. Contiene 219 pull request provenienti da 187 repository open source pubblici in 19 linguaggi. GitHub dice che ingegneri senior hanno etichettato in modo indipendente i veri positivi di riferimento prima del rilascio. Dice anche che ogni rilievo porta un'etichetta di gravità e di categoria, così i team possono ritagliare i risultati secondo le proprie preferenze di precisione e richiamo.

L'ammissione scomoda nel post di GitHub riguarda il suo stesso prodotto. L'azienda dice che con ReviewBench la valutazione offline di Copilot code review «è diventata più efficace nel prevedere la direzione degli esperimenti in produzione». In altre parole, il vecchio segnale offline non seguiva abbastanza da vicino quello che succedeva in produzione. Un benchmark che predice il mondo reale è un artefatto diverso da uno che mette in classifica i modelli.

Veris ha portato lo stesso istinto sugli agenti vocali. Il suo VAmoS Pro Bench, pubblicato il 5 ottobre, ha fatto girare 14 stack vocali su 2.694 chiamate simulate a un servizio di fatturazione. Il completamento del compito andava dal 57,5% dello stack migliore al 17,3% di quello in fondo. Nessun numero unico avrebbe catturato quella forbice. La classifica registra anche i tassi di barge-in e il costo per chiamata. Ha rilevato che un televisore acceso dietro a chi chiama ha fatto scendere il completamento complessivo dal 38,7% all'8,6%, mentre il rumore di strada allo stesso livello non è costato nulla.

Modelli piccoli, decisioni piccole, risultati misurabili

Non ogni valutazione ha bisogno di un laboratorio. Un progetto su GitHub chiamato Jeff-Code, pubblicato il 5 ottobre, inserisce un modello decisionale da 800.000.000 di parametri nel ciclo dell'agente di Pi, il coding agent di Mario Zechner, accanto a Qwen 3.8-27B (27.000.000.000 di parametri). Jeff fa due chiamate rapide intorno a ogni turno di Qwen, circa 0,2 secondi ciascuna. Una chiede se può fare da solo il passo informativo successivo. L'altra chiede se Qwen deve ragionare a fondo.

I risultati appaiati, su 1.242 compiti, danno un tasso di successo del 62,4% contro il 62,8% del solo Qwen. Gli autori indicano la differenza come meno 0,2 punti, con un intervallo al 95% da meno 2,6 a più 2,1. Il tempo per compito è sceso a 0,68 volte la baseline, con una mediana di 0,70. Spegnere il ragionamento a ogni turno era ancora più veloce ma costava 7,6 punti. Una soglia meno prudente, 0,7, costava 4,5 punti. Il repository nota anche che in circa il 5% dei compiti la configurazione ha girato più di 30 minuti in più rispetto al solo Qwen.

Quest'ultimo dettaglio è il tipo di cosa che gli speedup aggregati nascondono. Vale lo stesso per l'argomento sul disegno dei benchmark che Matklad ha fatto il 5 ottobre. Scegli una dimensione dell'input che faccia girare un micro-benchmark per circa 300 ms. Qualunque cosa sotto i 10 ms rischia di essere falsata da costi fissi come l'avvio dell'interprete, e qualunque cosa sopra il secondo rende lenti i cicli ripetuti. La premessa dichiarata è che il benchmarking esiste per dare all'autore abbastanza intuizione da prendere una decisione corretta, non per produrre una misura precisa.

Un'ondata di modelli decisionali, ognuno con il suo tabellone

Liquid AI ha usato il 5 ottobre per lanciare d1, un modello decisionale che restituisce probabilità invece di generare token. Ora accetta immagini oltre al testo. L'azienda dice di averlo provato contro GPT-6.1 Sol e Claude Opus 5.5 su sei applicazioni. Ha eguagliato o battuto GPT-6.1 Sol su quattro, a un costo da 19 a 200 volte più basso. Su un dataset pubblico di ispezione industriale distingue pezzi buoni e difettosi con un'accuratezza dall'85% al 97%, secondo il blog, senza essere stato addestrato per quel compito.

Interfaze ha pubblicato lo stesso giorno un sistema di forma diversa: Interfaze 1.1 Lite. Unisce un nucleo di ragionamento a modelli specialistici per documenti, voce, segmentazione e previsioni, e gira su una sola GPU da 80 GB. La sua tabella pubblicata lo mette a 85,9 su GPQA Diamond contro 92,4 di Interfaze e 89,9 di Claude-Sonnet-4.6. Lo mette a 83,8 su olmOCR-Bench contro 85,7 del modello Interfaze più grande. Sono numeri dichiarati dal fornitore su benchmark scelti dal fornitore, cioè esattamente il vuoto di misura che i benchmark per la revisione del codice e per la voce cercano di colmare.

Il contrappeso è costo e velocità. Un modello che risponde in 200 o 300 millisecondi con una probabilità si può controllare o scartare a poco prezzo. Un modello che genera un paragrafo di prosa sicura di sé no. Sean Goedecke ha sostenuto il 5 ottobre che modelli decisionali come Jev saranno facili da distillare in classificatori costruiti a mano una volta validato un caso d'uso. Il prompt e i suoi output danno dati etichettati gratis. Il trainer diventa l'apprendista.

Che aspetto hanno le prove fuori dall'IA

Per contrasto, guarda com'è fatto uno studio grande e ben ancorato. PsyPost ha riferito il 4 ottobre di uno studio su più di 2.500.000 bambini, pubblicato su The Pediatric Infectious Disease Journal. Non ha trovato alcun legame tra la vaccinazione MMR prima dei due anni e l'autismo. Il ricercatore principale, Todd Burstain di UW Medicine, ha detto a PsyPost che i precedenti studi europei usavano dati dal 2000 al 2012, quando la prevalenza dell'autismo era circa un terzo dei livelli attuali negli Stati Uniti. Ha detto che un'analisi landmark ancorata all'età evita il bias del tempo immortale.

Questo è lo standard con cui si misurano i benchmark dell'IA, e la maggior parte non gli si avvicina. Le tabelle dei fornitori sono autodichiarate, spesso su benchmark scelti dal fornitore, a volte con righe segnate come «non riportato» per i concorrenti. Il post di Reflection su Beam è insolitamente schietto su questo punto, elenca i punteggi mancanti dei rivali accanto ai propri, ma le voci mancanti restano mancanti. ReviewBench di GitHub, il tabellone vocale di Veris e le esecuzioni appaiate di Jeff-Code vanno tutti nella stessa direzione: pubblicare l'infrastruttura di prova, la distribuzione e l'intervallo, non solo il titolo.

Altri rilasci del 5 ottobre seguono lo schema di strumenti piccoli e misurabili invece di grandi dichiarazioni. Reika, una CLI per coding agent costruita intorno a modelli locali da 8.000.000.000 a 35.000.000.000 di parametri, pubblica le proprie rilevazioni. Una riscrittura a metà contesto ha rielaborato 8.453 token di prompt, costando 7,9 minuti di prefill. Un'aggiunta nella stessa sessione è costata 25 token e 3,5 secondi. Precogly ha rilasciato la versione 0.4.0 di una piattaforma open source per il threat modelling ed è entrata in OWASP. NASA e IBM hanno pubblicato il codice di fine-tuning per un modello fondazionale lunare che copre il rilevamento dei crateri e la prospezione del ghiaccio.

Niente di tutto questo risolve la domanda se un modello sappia quello che non sa. Il lavoro della UCR suggerisce che il segnale interno esiste e si può regolare. I nuovi benchmark suggeriscono che il segnale esterno è stato troppo grossolano per accorgersene. Sono due modi di dire la stessa cosa. Una risposta e una rassicurazione sono due output diversi, e finora solo uno dei due è stato misurato come si deve.