Uno studio di Stanford: il 44% delle affermazioni più citate sugli LLM è già scaduto

La conclusione riguarda chiunque citi un benchmark. Delle 50 affermazioni verificate da Queen e Zou, il 44 per cento era già scaduto.

È un problema per chi compra, non solo per chi scrive. Chi sceglie un modello, redige una politica interna sull'IA o ripete un benchmark in una presentazione lavora probabilmente con prove vecchie di un anno o più. Un dato vero nel 2024 può dire poco sul modello che un team acquista nel 2026. Lo studio indebolisce anche i confronti tra modelli: tra quelli usciti tra luglio e settembre 2026, il numero di risultati scaduti andava da 11 a 30. Nessuno ha pubblicato un metodo per prevedere in anticipo quali affermazioni reggeranno e quali marciranno. Né la data di uscita, né il fornitore, né la dimensione del modello prevedevano la tendenza in modo affidabile, hanno rilevato gli autori.

Il resto della distribuzione non è più lusinghiero. Un altro 34 per cento delle affermazioni si era indebolito in modo significativo, il 16 per cento reggeva ancora e il 6 per cento si era rafforzato.

Cinquanta affermazioni, venti modelli, otto sviluppatori

Queen e Zou hanno rieseguito le 50 affermazioni su 20 modelli pubblicati tra luglio 2024 e settembre 2026 da otto sviluppatori diversi. Tra i 22 risultati con una data di scadenza stimata, la durata media è stata di 15,7 mesi. La scadenza accelera. Il 16 per cento dei risultati era scaduto dopo un anno, il 39 per cento dopo due.

Quindici mesi corrispondono più o meno a una generazione di modelli.

Le affermazioni che marciscono più in fretta riguardano i limiti

La tendenza non è casuale. Cinque dei nove risultati legati al ragionamento sono considerati scaduti, e nessuno di essi ha retto o si è rafforzato. Tra le vittime ci sono lamentele note: modelli che sbagliano a contare le lettere in strawberry, che inciampano nell'aritmetica con sistemi numerici poco familiari, che perdono informazioni nel mezzo di un contesto lungo, che abbandonano una risposta corretta quando l'utente insiste. I ricercatori sospettano che questi errori condividano un esito corretto, il che offre agli sviluppatori un obiettivo chiaro su cui addestrare.

Le affermazioni sul comportamento durano più a lungo. Degli 11 risultati che hanno retto o si sono rafforzati, tre riguardano modelli che agiscono come valutatori e tre riguardano l'adulazione e l'acquiescenza verso gli utenti. I pregiudizi sociali vanno in entrambe le direzioni: il pregiudizio politico orientato a sinistra persiste, mentre gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti. Il pregiudizio verso chi parla l'inglese afroamericano ha invertito direzione nei dati di tendenza.

Un test sulle citazioni con una grande eccezione

Il caso di studio del paper sono i riferimenti inventati. Nel lavoro originale del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento delle citazioni. Con gli stessi prompt, GPT-6.1 Sol ha inventato lo 0 per cento e Claude Sonnet 5.5 l'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, inventava ancora il 69 per cento.

Due modelli del 2026 si collocano agli estremi opposti di quel test.

Gli autori mettono in guardia dal leggerlo come un via libera. Sulle domande a due passaggi, Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente a entrambe le domande componenti, contro il 43 per cento riportato per ChatGPT nel paper originale. La Reversal Curse e le risposte contraddittorie a domande appaiate sul tempo si sono indebolite, ma restano entrambe rilevabili.

La forbice tra modelli resta ampia anche dentro una sola finestra di uscita. Tra i modelli rilasciati tra luglio e settembre 2026, i risultati scaduti andavano da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol.

Altri laboratori rispondono con test più difficili

La rassegna della ricerca di Microsoft di fine ottobre descriveva due iniziative di questo tipo. CABRA genera sfide di programmazione da zero, così la complessità può essere alzata in modo controllato; su migliaia di compiti generati, gli agenti risolvevano spesso i problemi ricorrendo a strumenti ma facevano ancora fatica a capire basi di codice poco familiari. ForkPilot, un framework che si migliora da solo, ha eguagliato i migliori metodi esistenti su sei benchmark riducendo fino al 59 per cento le richieste di elaborazione.

Altrove la risposta è la verifica formale. Un paper su arXiv sui codici quantistici correttori di errori assistiti dall'entanglement ha usato una pipeline con un ricercatore nel ciclo e il controllo delle dimostrazioni con Lean, chiudendo 54 lacune in tabelle archiviate e pubblicando 115 record di codice verificati.

I suoi stessi numeri lo dimostrano. I programmi iterativi selezionati in validazione hanno raggiunto il 46,1 per cento e il 31,6 per cento di successo su esecuzioni tenute da parte a lunghezze mai viste n=13 e n=15, contro il 19,5 per cento e il 3,1 per cento dei programmi generati in modo indipendente. Il divario si allarga alla lunghezza maggiore.

I laboratori commerciali vendono invece velocità. Jonathan Zanger, CTO di Check Point, ha detto che Daybreak ha ridotto la ricerca sulle vulnerabilità da ore a minuti. Lo strumento dà ai difensori accesso ai modelli cyber di frontiera di OpenAI, che analizzano le vulnerabilità e tracciano i percorsi di attacco.

Cosa vogliono cambiare gli autori

Queen e Zou vogliono cambiare l'impostazione. Sostengono che i risultati empirici sugli LLM vadano presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali. I paper dovrebbero documentare cosa hanno testato, aggiungono.

L'istruzione pratica è più diretta. Ripeti il test prima di citarlo, e data il test.