Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Stanford: scaduto il 44% delle affermazioni più citate sugli LLM

Owen Queen e James Zou, ricercatori di Stanford, hanno rieseguito 50 affermazioni molto citate sui grandi modelli linguistici su 20 modelli usciti tra luglio 2024 e settembre 2026. Il 44 per cento è risultato scaduto. Per i risultati con una data di scadenza stimata la durata media è stata di 15,7 mesi.

TecnologiaAnalisiChiara RomanoPubblicato: 4 novembre 20264 min di letturaFonti 12
Stanford: scaduto il 44% delle affermazioni più citate sugli LLM

Il gruppo ha rieseguito le 50 affermazioni su 20 modelli di otto sviluppatori. L'effetto originale dietro i risultati scaduti è in gran parte svanito, mentre un altro 34 per cento si è indebolito in modo netto. Solo il 16 per cento reggeva ancora e il 6 per cento si era rafforzato.

Tra i 22 risultati con una data di scadenza stimata, la durata media è stata di 15,7 mesi. Dopo un anno era scaduto il 16 per cento dei risultati. Dopo due anni, il 39 per cento.

Le affermazioni sui limiti scadono più in fretta

Cinque dei nove risultati sul ragionamento sono considerati scaduti, e nessuno ha retto o si è rafforzato. Gli esempi includono modelli che sbagliano il conteggio delle lettere in "strawberry", inciampano nell'aritmetica con sistemi numerici poco familiari, perdono informazioni a metà di contesti lunghi o abbandonano una risposta corretta quando l'utente insiste. I ricercatori sospettano che questi errori abbiano tutti la stessa risposta corretta, il che dà agli sviluppatori un bersaglio chiaro su cui addestrare.

Le affermazioni sulle preferenze e sulle tendenze durano di più. Degli 11 risultati che hanno retto o si sono rafforzati, tre riguardano modelli usati come valutatori e tre riguardano l'adulazione e l'acquiescenza verso gli utenti. Lo studio segnala anche un pregiudizio politico orientato a sinistra, risposte quasi identiche alle domande aperte e una distribuzione non uniforme nella generazione di numeri casuali. Gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti, mentre il pregiudizio verso chi parla l'inglese afroamericano ha invertito direzione nei dati di tendenza.

Il test delle citazioni: dal 55 per cento a zero, con un'eccezione

Il caso di studio del paper sono le citazioni scientifiche inventate. Nello studio originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei riferimenti. Con gli stessi prompt, GPT-6.1 Sol ne ha inventati lo 0 per cento e Claude Sonnet 5.5 l'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, ne inventava ancora il 69 per cento.

Lo studio mette in guardia dal leggere questi risultati come un via libera. Sulle domande a due passaggi, Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente a entrambe le domande singole, contro il 43 per cento riportato per ChatGPT nel paper originale. La Reversal Curse e le risposte contraddittorie alle coppie di domande sul tempo si sono indebolite, ma restano entrambe rilevabili.

I divari tra modelli restano ampi

I risultati variano da modello a modello anche dentro la stessa finestra di uscita. Tra i modelli pubblicati tra luglio e settembre 2026, il numero di risultati scaduti va da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. Secondo lo studio, né la data di uscita né il fornitore né la dimensione del modello prevedono il quadro in modo affidabile.

Cosa chiedono di cambiare gli autori

Queen e Zou sostengono che i risultati empirici sugli LLM vadano presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. I paper dovrebbero documentare modello, versione e data, e pubblicare prompt e codice di analisi perché i risultati possano essere ritestati su modelli futuri.

Commenti 0

Fonti

12
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Microsoft Research Focus – Edition #97EN
  3. 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
  7. 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
  8. 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  9. 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  10. 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  11. 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  12. 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.