Uno studio di Stanford: scaduto il 44 per cento delle affermazioni più citate sui modelli linguistici
Owen Queen e James Zou, di Stanford, hanno messo alla prova 50 affermazioni molto citate sui grandi modelli linguistici su 20 modelli. Il 44 per cento è scaduto. Tra i 22 risultati con una data di scadenza stimata, la durata media è di 15,7 mesi.

Le 50 affermazioni sono state verificate su 20 modelli usciti tra luglio 2024 e settembre 2026, di otto sviluppatori. Oltre al 44 per cento scaduto, un altro 34 per cento si è indebolito in modo netto, il 16 per cento regge ancora e il 6 per cento si è rafforzato. La scadenza accelera con il tempo: dopo un anno era scaduto il 16 per cento, dopo due anni la quota arrivava al 39 per cento. I 22 risultati con una data di scadenza stimata duravano in media 15,7 mesi, su una finestra di test che va da luglio 2024 a settembre 2026.
Cosa scade più in fretta
Le affermazioni su ciò che i modelli non sanno fare invecchiano peggio di tutte. Cinque dei nove risultati sul ragionamento sono scaduti, e nessuno ha retto o si è rafforzato. Tra questi ci sono il conteggio delle lettere in "strawberry", l'aritmetica in sistemi numerici poco familiari, la perdita di informazioni nel mezzo di contesti lunghi e l'abbandono di una risposta corretta quando l'utente insiste. I ricercatori sospettano che questi errori abbiano un esito "corretto", il che dà agli sviluppatori un obiettivo chiaro su cui addestrare.
Le affermazioni sulle preferenze e sulle tendenze durano più a lungo. Degli 11 risultati che hanno retto o si sono rafforzati, tre riguardano modelli che fanno da valutatori: preferiscono le proprie risposte, giudicano allo stesso modo articoli accettati e rifiutati e si lasciano influenzare dalla retorica negli abstract medici. Altri tre riguardano l'adulazione verso gli utenti. Un pregiudizio politico orientato a sinistra persiste, le risposte alle domande aperte sono quasi identiche e i numeri casuali generati non hanno una distribuzione uniforme.
Le citazioni migliorano in modo disomogeneo
I riferimenti inventati mostrano quanto il progresso sia irregolare. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei propri riferimenti. Sugli stessi prompt, GPT-6.1 Sol ne ha inventati lo 0 per cento e Claude Sonnet 5.5 l'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, ne inventava ancora il 69 per cento.
Le domande a due passaggi, in cui un modello deve combinare due fatti che conosce, restano un punto debole. Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente alle due domande singole, contro il 43 per cento riportato per ChatGPT nello studio originale. La "maledizione dell'inversione" e le risposte contraddittorie a coppie di domande legate al tempo si sono indebolite ma restano rilevabili.
I pregiudizi sociali sono misti. Il pregiudizio politico orientato a sinistra persiste, gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti, e il pregiudizio verso chi parla inglese afroamericano ha invertito direzione nei dati di tendenza.
La scelta del modello conta
I risultati variano molto anche dentro una stessa finestra di rilascio. Tra i modelli usciti tra luglio e settembre 2026, il numero di risultati scaduti va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. La data di rilascio, il fornitore e la dimensione del modello non bastano a prevedere il quadro.
Cosa consigliano i ricercatori
Queen e Zou sostengono che i risultati empirici sui modelli linguistici vadano presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. Gli articoli dovrebbero documentare modello, versione e data, e pubblicare prompt e codice di analisi perché i risultati possano essere verificati di nuovo su modelli futuri. Citano un post di Andrej Karpathy su come la distanza tra ciò che le persone pensano che i modelli linguistici facciano e come si comportano davvero incida sulla fiducia nell'IA e sulla frequenza con cui le persone la usano.
Fonti
18- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
- 03Open Science: The open-source AI workbench for scientific researchEN
- 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
- 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
- 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
- 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
- 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 15Microsoft Research Focus – Edition #97EN
- 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
- 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 18Claude helped plan risky bird flu research. What did the AI add?EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.