Studio di Stanford: il 44% delle 50 affermazioni più citate sugli LLM è scaduto
Uno studio di Stanford condotto da Owen Queen e James Zou ha rilevato che il 44% di 50 affermazioni molto citate sui grandi modelli linguistici era scaduto, cioè il loro effetto originale era in gran parte svanito, con una durata media di 15,7 mesi su 22 risultati.

Lo studio usa il termine "scaduto" per le affermazioni il cui effetto originale era in gran parte svanito quando sono state verificate su modelli più recenti. Queen e Zou hanno testato 50 affermazioni su 20 modelli di otto sviluppatori, rilasciati tra luglio 2024 e settembre 2026. Il 44 per cento di queste affermazioni era scaduto, il 34 per cento si era indebolito in modo significativo, il 16 per cento reggeva ancora e il 6 per cento si era rafforzato. La scadenza cresce con il tempo: 16 per cento dopo un anno e 39 per cento dopo due anni, secondo i ricercatori. Tra i 22 risultati con una data di scadenza stimata, la durata media era di 15,7 mesi.
Le affermazioni su ciò che i modelli non sanno fare scadono più in fretta
Cinque dei nove risultati sul ragionamento sono scaduti, e nessuno ha retto o si è rafforzato, hanno rilevato Queen e Zou. Tra questi ci sono il conteggio delle lettere in "strawberry", l'aritmetica in sistemi numerici poco familiari, la perdita di informazioni nel mezzo di contesti lunghi e l'abbandono di risposte corrette quando gli utenti insistono. I ricercatori sospettano che questi errori abbiano un esito "corretto", che offre agli sviluppatori un obiettivo chiaro su cui addestrare.
Alcune preferenze e distorsioni persistono
Lo studio dice che 11 risultati hanno retto o si sono rafforzati. Tra gli esempi ci sono tre sul comportamento degli LLM come valutatori: i modelli preferiscono le proprie risposte, valutano allo stesso modo articoli accettati e respinti e si lasciano influenzare dalla retorica linguistica negli abstract medici. Altri tre riguardano l'adulazione e l'acquiescenza verso gli utenti. Lo studio elenca anche risposte quasi identiche a domande aperte e una distribuzione non uniforme nella generazione di numeri casuali.
Le distorsioni sociali sono miste
Il pregiudizio politico di sinistra persiste, hanno rilevato i ricercatori. Gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti. I pregiudizi verso chi parla l'inglese afroamericano hanno invertito direzione nei dati di tendenza.
La fabbricazione di citazioni cala, ma non per tutti i modelli
Come caso di studio, Queen e Zou hanno esaminato la fabbricazione di citazioni scientifiche. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei suoi riferimenti. I ricercatori di Stanford hanno inviato gli stessi prompt ai modelli attuali. GPT-6.1 Sol ha fabbricato lo 0 per cento, e Claude Sonnet 5.5 si è fermato all'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, nello stesso test fabbricava ancora il 69 per cento dei suoi riferimenti.
Lo studio mette in guardia dal leggere questi risultati come un via libera. Sulle domande a due passaggi, in cui un modello deve combinare due fatti noti, Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente a entrambe le domande singole. L'articolo originale riportava il 43 per cento per ChatGPT. Anche la Reversal Curse e le risposte contraddittorie a coppie di domande legate al tempo si sono indebolite, ma restano rilevabili.
I divari tra modelli restano ampi
I risultati variano da modello a modello, anche nella stessa finestra di rilascio. Tra i modelli rilasciati tra luglio e settembre 2026, il numero di risultati scaduti va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. Queen e Zou hanno rilevato che né la data di rilascio, né il fornitore, né la dimensione del modello predicono in modo affidabile questo andamento.
Cosa raccomandano gli autori
Queen e Zou concludono che i risultati empirici sugli LLM vanno presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. Gli articoli dovrebbero documentare modello, versione e data, e pubblicare prompt e codice di analisi perché i risultati possano essere verificati di nuovo su modelli futuri.
Fonti
9- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 03Microsoft Research Focus - Edition #97EN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
- 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.