Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Uno studio di Stanford: scaduto il 44 per cento delle affermazioni più citate sui modelli linguistici

Owen Queen e James Zou, di Stanford, hanno messo alla prova 50 affermazioni molto citate sui grandi modelli linguistici su 20 modelli. Il 44 per cento è scaduto. Tra i 22 risultati con una data di scadenza stimata, la durata media è di 15,7 mesi.

IA e modelliAnalisiGiulia FerrariPubblicato: 4 novembre 20264 min di letturaFonti 18
Uno studio di Stanford: scaduto il 44 per cento delle affermazioni più citate sui modelli linguistici

Le 50 affermazioni sono state verificate su 20 modelli usciti tra luglio 2024 e settembre 2026, di otto sviluppatori. Oltre al 44 per cento scaduto, un altro 34 per cento si è indebolito in modo netto, il 16 per cento regge ancora e il 6 per cento si è rafforzato. La scadenza accelera con il tempo: dopo un anno era scaduto il 16 per cento, dopo due anni la quota arrivava al 39 per cento. I 22 risultati con una data di scadenza stimata duravano in media 15,7 mesi, su una finestra di test che va da luglio 2024 a settembre 2026.

Cosa scade più in fretta

Le affermazioni su ciò che i modelli non sanno fare invecchiano peggio di tutte. Cinque dei nove risultati sul ragionamento sono scaduti, e nessuno ha retto o si è rafforzato. Tra questi ci sono il conteggio delle lettere in "strawberry", l'aritmetica in sistemi numerici poco familiari, la perdita di informazioni nel mezzo di contesti lunghi e l'abbandono di una risposta corretta quando l'utente insiste. I ricercatori sospettano che questi errori abbiano un esito "corretto", il che dà agli sviluppatori un obiettivo chiaro su cui addestrare.

Le affermazioni sulle preferenze e sulle tendenze durano più a lungo. Degli 11 risultati che hanno retto o si sono rafforzati, tre riguardano modelli che fanno da valutatori: preferiscono le proprie risposte, giudicano allo stesso modo articoli accettati e rifiutati e si lasciano influenzare dalla retorica negli abstract medici. Altri tre riguardano l'adulazione verso gli utenti. Un pregiudizio politico orientato a sinistra persiste, le risposte alle domande aperte sono quasi identiche e i numeri casuali generati non hanno una distribuzione uniforme.

Le citazioni migliorano in modo disomogeneo

I riferimenti inventati mostrano quanto il progresso sia irregolare. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei propri riferimenti. Sugli stessi prompt, GPT-6.1 Sol ne ha inventati lo 0 per cento e Claude Sonnet 5.5 l'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, ne inventava ancora il 69 per cento.

Le domande a due passaggi, in cui un modello deve combinare due fatti che conosce, restano un punto debole. Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente alle due domande singole, contro il 43 per cento riportato per ChatGPT nello studio originale. La "maledizione dell'inversione" e le risposte contraddittorie a coppie di domande legate al tempo si sono indebolite ma restano rilevabili.

I pregiudizi sociali sono misti. Il pregiudizio politico orientato a sinistra persiste, gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti, e il pregiudizio verso chi parla inglese afroamericano ha invertito direzione nei dati di tendenza.

La scelta del modello conta

I risultati variano molto anche dentro una stessa finestra di rilascio. Tra i modelli usciti tra luglio e settembre 2026, il numero di risultati scaduti va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. La data di rilascio, il fornitore e la dimensione del modello non bastano a prevedere il quadro.

Cosa consigliano i ricercatori

Queen e Zou sostengono che i risultati empirici sui modelli linguistici vadano presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. Gli articoli dovrebbero documentare modello, versione e data, e pubblicare prompt e codice di analisi perché i risultati possano essere verificati di nuovo su modelli futuri. Citano un post di Andrej Karpathy su come la distanza tra ciò che le persone pensano che i modelli linguistici facciano e come si comportano davvero incida sulla fiducia nell'IA e sulla frequenza con cui le persone la usano.

Commenti 0

Fonti

18
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
  3. 03Open Science: The open-source AI workbench for scientific researchEN
  4. 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
  5. 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
  6. 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
  7. 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
  8. 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
  9. 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  10. 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  11. 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  12. 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
  13. 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
  14. 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  15. 15Microsoft Research Focus – Edition #97EN
  16. 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
  17. 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
  18. 18Claude helped plan risky bird flu research. What did the AI add?EN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.