Un audit di Stanford: le affermazioni sugli LLM scadono in media dopo 15,7 mesi

Cosa scade più in fretta: le affermazioni su ciò che i modelli non sanno fare

Queen e Zou hanno messo alla prova le 50 affermazioni su 20 modelli di otto sviluppatori, rilasciati tra luglio 2024 e settembre 2026. I risultati sono tutt'altro che uniformi.

La cosa riguarda chiunque citi un benchmark. Le prove dietro queste affermazioni durano circa un anno e un quarto. I ricercatori che costruiscono sopra risultati pubblicati mirano a un bersaglio mobile. Lo stesso vale per chi sceglie un modello in base ai confronti pubblicati. Non esiste un modo condiviso per segnare un'affermazione come scaduta. Chi legge deve controllare da sé il modello e la data.

La distribuzione delle 50 affermazioni è disomogenea. In totale il 44 per cento era scaduto, il 34 per cento si era indebolito in modo significativo, il 16 per cento reggeva ancora e il 6 per cento si era rafforzato. Tra i 22 risultati con una data di scadenza stimata, la durata media era di 15,7 mesi. Il decadimento accelera. Dopo un anno era scaduto il 16 per cento dei risultati. Dopo due anni la cifra arrivava al 39 per cento.

Le affermazioni su ciò che i modelli non sanno fare invecchiano più in fretta di tutte.

Cinque dei nove risultati sul ragionamento sono scaduti. Nessuno ha tenuto o si è rafforzato. L'elenco sembra un giro tra debolezze note. Contare le lettere in strawberry è una. L'aritmetica in sistemi di numerazione non familiari è un'altra. Poi c'è la perdita di informazioni a metà dei contesti lunghi. E c'è l'abbandono di una risposta corretta quando l'utente insiste. Queen e Zou sospettano che questi errori condividano un esito corretto, il che offre agli sviluppatori un obiettivo chiaro su cui addestrare.

Cosa è sopravvissuto: preferenze, piaggeria e pregiudizi

Degli 11 risultati che hanno tenuto o si sono rafforzati, tre riguardano gli LLM usati come valutatori. I modelli preferiscono le proprie risposte. Valutano allo stesso modo articoli accettati e rifiutati, e si lasciano influenzare dalla retorica linguistica negli abstract medici.

Altri tre riguardano la piaggeria e l'acquiescenza verso gli utenti.

I pregiudizi sono un quadro misto. Il bias politico di sinistra persiste. Gli stereotipi di genere e i bias di associazione implicita si sono indeboliti. I bias verso chi parla l'inglese afroamericano hanno invertito direzione nei dati di tendenza.

Il test delle citazioni: dal 55 per cento a zero, ma non ovunque

Come caso di studio, i due hanno esaminato le citazioni scientifiche inventate. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei suoi riferimenti. Queen e Zou hanno inviato gli stessi prompt ai modelli attuali. GPT-6.1 Sol ha inventato lo 0 per cento, e Claude Sonnet 5.5 si è fermato all'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, nello stesso test inventava ancora il 69 per cento dei riferimenti.

Le citazioni inventate sono il caso più pulito dello studio. I prompt originali si potevano ripetere alla lettera.

Il miglioramento è reale ma parziale. Sulle domande a due passaggi un modello deve combinare due fatti noti. Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente a entrambe le domande singole. L'articolo originale riportava il 43 per cento per ChatGPT.

Il divario tra i modelli è ampio, e il deployment accelera

Tra i modelli rilasciati tra luglio e settembre 2026, i risultati scaduti vanno da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. La dimensione non spiega il fenomeno. La data di rilascio, il fornitore e la dimensione del modello non predicono il quadro in modo affidabile.

Intanto i sistemi in cui questi modelli stanno dentro passano in produzione. I ricercatori Microsoft hanno riferito che gli agenti di programmazione spesso superano i problemi usando strumenti. Faticano ancora quando devono capire basi di codice non familiari, secondo Microsoft Research Focus pubblicato il 29 ottobre. La stessa edizione descrive ForkPilot. Quel framework ha ridotto fino al 59 per cento le richieste di elaborazione AI su sei benchmark.

Il lavoro sulla sicurezza mostra la stessa compressione. OpenAI ha detto il 27 ottobre che Check Point aveva ridotto la ricerca sulle vulnerabilità da ore a minuti usando i suoi modelli Daybreak. L'affermazione viene da Jonathan Zanger, chief technology officer di Check Point.

Il conto dell'hardware sale di conseguenza. Hyperion Research ha riferito il 3 novembre che i ricavi da HPC on-premises e AI per la scienza hanno raggiunto 16.500.000.000 di dollari nella prima metà del 2026. È il 19,9 per cento in più rispetto ai 13.800.000.000 della seconda metà del 2025. Le unità vendute sono cresciute solo del 4,4 per cento nello stesso periodo. Questo indica costi di sistema in aumento. Dell ha preso la guida del mercato con 4.200.000.000 di dollari di ricavi server nella prima metà del 2026. Ha chiuso più di 25 anni di leadership di HPE.

Earl Joseph, amministratore delegato di Hyperion Research, attribuisce la domanda a due cose. Le organizzazioni sostituiscono macchine vecchie, ha detto. Vogliono anche portare l'AI nei propri flussi di lavoro.

Messe insieme, le due tendenze tirano in direzioni opposte. Chi compra spende di più per sistema. Allo stesso tempo, le prove pubblicate che usa per confrontare i modelli invecchiano in circa 15 mesi. Un risultato di benchmark di un anno fa può descrivere un modello che nel frattempo è stato sostituito.

Cosa vogliono gli autori, e cosa resta aperto

Queen e Zou concludono che i risultati empirici sugli LLM vanno presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. La loro raccomandazione è stretta. Cita il modello, cita la versione, cita il mese.

Gli autori mettono in guardia dal cantare vittoria.

La Reversal Curse e le risposte contraddittorie a domande abbinate sul tempo si sono indebolite. Restano rilevabili. Un'affermazione che un sistema fallisce in un compito riguarda una singola build, non la tecnologia. Se il quadro valga per i modelli rilasciati dopo settembre 2026 non si sa.