Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Studio di Stanford: il 44% delle 50 affermazioni più citate sugli LLM è scaduto

Uno studio di Stanford condotto da Owen Queen e James Zou ha rilevato che il 44% di 50 affermazioni molto citate sui grandi modelli linguistici era scaduto, cioè il loro effetto originale era in gran parte svanito, con una durata media di 15,7 mesi su 22 risultati.

ScienzaSpiegatoSara GalloPubblicato: 4 novembre 20264 min di letturaFonti 9
Studio di Stanford: il 44% delle 50 affermazioni più citate sugli LLM è scaduto

Lo studio usa il termine "scaduto" per le affermazioni il cui effetto originale era in gran parte svanito quando sono state verificate su modelli più recenti. Queen e Zou hanno testato 50 affermazioni su 20 modelli di otto sviluppatori, rilasciati tra luglio 2024 e settembre 2026. Il 44 per cento di queste affermazioni era scaduto, il 34 per cento si era indebolito in modo significativo, il 16 per cento reggeva ancora e il 6 per cento si era rafforzato. La scadenza cresce con il tempo: 16 per cento dopo un anno e 39 per cento dopo due anni, secondo i ricercatori. Tra i 22 risultati con una data di scadenza stimata, la durata media era di 15,7 mesi.

Le affermazioni su ciò che i modelli non sanno fare scadono più in fretta

Cinque dei nove risultati sul ragionamento sono scaduti, e nessuno ha retto o si è rafforzato, hanno rilevato Queen e Zou. Tra questi ci sono il conteggio delle lettere in "strawberry", l'aritmetica in sistemi numerici poco familiari, la perdita di informazioni nel mezzo di contesti lunghi e l'abbandono di risposte corrette quando gli utenti insistono. I ricercatori sospettano che questi errori abbiano un esito "corretto", che offre agli sviluppatori un obiettivo chiaro su cui addestrare.

Alcune preferenze e distorsioni persistono

Lo studio dice che 11 risultati hanno retto o si sono rafforzati. Tra gli esempi ci sono tre sul comportamento degli LLM come valutatori: i modelli preferiscono le proprie risposte, valutano allo stesso modo articoli accettati e respinti e si lasciano influenzare dalla retorica linguistica negli abstract medici. Altri tre riguardano l'adulazione e l'acquiescenza verso gli utenti. Lo studio elenca anche risposte quasi identiche a domande aperte e una distribuzione non uniforme nella generazione di numeri casuali.

Le distorsioni sociali sono miste

Il pregiudizio politico di sinistra persiste, hanno rilevato i ricercatori. Gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti. I pregiudizi verso chi parla l'inglese afroamericano hanno invertito direzione nei dati di tendenza.

La fabbricazione di citazioni cala, ma non per tutti i modelli

Come caso di studio, Queen e Zou hanno esaminato la fabbricazione di citazioni scientifiche. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei suoi riferimenti. I ricercatori di Stanford hanno inviato gli stessi prompt ai modelli attuali. GPT-6.1 Sol ha fabbricato lo 0 per cento, e Claude Sonnet 5.5 si è fermato all'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, nello stesso test fabbricava ancora il 69 per cento dei suoi riferimenti.

Lo studio mette in guardia dal leggere questi risultati come un via libera. Sulle domande a due passaggi, in cui un modello deve combinare due fatti noti, Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente a entrambe le domande singole. L'articolo originale riportava il 43 per cento per ChatGPT. Anche la Reversal Curse e le risposte contraddittorie a coppie di domande legate al tempo si sono indebolite, ma restano rilevabili.

I divari tra modelli restano ampi

I risultati variano da modello a modello, anche nella stessa finestra di rilascio. Tra i modelli rilasciati tra luglio e settembre 2026, il numero di risultati scaduti va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. Queen e Zou hanno rilevato che né la data di rilascio, né il fornitore, né la dimensione del modello predicono in modo affidabile questo andamento.

Cosa raccomandano gli autori

Queen e Zou concludono che i risultati empirici sugli LLM vanno presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. Gli articoli dovrebbero documentare modello, versione e data, e pubblicare prompt e codice di analisi perché i risultati possano essere verificati di nuovo su modelli futuri.

Commenti 0

Fonti

9
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  3. 03Microsoft Research Focus - Edition #97EN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  7. 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
  8. 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  9. 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Sara Gallo

Sara Gallo

Scienza e salute

Sara Gallo scrive di scienza e salute per FLASH24, partendo da studi originali, comunicati di enti di ricerca e dati di agenzie sanitarie, senza fermarsi ai titoli. Per ogni articolo controlla campioni, intervalli di confidenza e conflitti di interesse, confrontando i numeri con le serie storiche di ISS ed Eurostat. Segue le revisioni sistematiche in uscita e attende i briefing del ministero della Salute, parlando con ricercatori e clinici prima di pubblicare. La sua formazione in fisica dei materiali e il telescopio che usa nel tempo libero si ritrovano nella cura con cui legge misure e immagini. Non pubblica stime senza fonte primaria.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.