Uno studio sulla memorizzazione: la maggior parte degli LLM non riproduce la maggior parte dei libri
Un articolo presentato a COLM 2026 riferisce che, su 200 libri e 14 modelli linguistici open-weight, la maggior parte dei modelli non memorizza la maggior parte dei libri, anche se Llama 3.1 70B riesce a riprodurne almeno uno per intero.

La maggior parte dei grandi modelli linguistici non memorizza la maggior parte dei libri su cui è stata addestrata. Lo sostiene un articolo accettato a COLM 2026, basato su uno studio che ha eseguito più di 3.000 esperimenti di estrazione su 200 libri e 14 modelli open-weight. La tesi va contro le affermazioni perentorie che entrambe le parti hanno fatto nel contenzioso sul copyright relativo all'IA generativa.
Il lavoro si intitola "Extracting memorized pieces of (copyrighted) books from open-weight language models", pubblicato per la prima volta su arXiv a maggio 2025 e rivisto fino a luglio 2026. Tra gli autori ci sono A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho e Percy Liang. L'abstract afferma chiaramente che le posizioni polarizzate di attori e convenuti "semplificano in modo drammatico il rapporto tra memorizzazione e copyright".
Cosa ha davvero trovato il metodo di estrazione
Il risultato principale è negativo, ed è più limitato di quanto sembri. Rispetto alla specifica metodologia di estrazione usata dagli autori, la maggior parte degli LLM non memorizza la maggior parte dei libri, né per intero né in parte. La precisazione conta. La conclusione riguarda ciò che questa particolare tecnica è riuscita a far emergere, non è una prova generale che i dati di addestramento non lascino traccia.
Le eccezioni mettono in difficoltà gli sviluppatori di modelli. Llama 3.1 70B memorizza interamente alcuni libri, scrivono gli autori, citando Harry Potter e la pietra filosofale. La memorizzazione è abbastanza estesa da permettere di estrarre quasi alla lettera l'intero libro, in modo deterministico, usando come prompt iniziale le prime parole del libro. Nessun trucco di campionamento, nessun jailbreak, solo la frase di apertura.
La memorizzazione variava sia per modello sia per libro tra i 14 sistemi open-weight testati. L'abstract non nomina gli altri modelli e non fornisce un dettaglio libro per libro. La domanda pratica su quali titoli siano più esposti, al di fuori dell'esempio di Harry Potter, resta aperta nel riassunto pubblicato.
Gli autori sono cauti su cosa significhino i loro risultati per i tribunali. Concludono che le scoperte hanno implicazioni significative per i casi di copyright, "anche se non implicazioni che favoriscano chiaramente una delle due parti". Questa frase è il vero contributo dell'articolo al dibattito, ed è probabile che entrambi gli schieramenti di avvocati la citino fuori contesto.
La questione delle licenze che corre accanto alla ricerca
Mentre i ricercatori misurano cosa i modelli trattengono, è in corso un'altra battaglia su cosa significhi la parola "open" quando è applicata ai modelli. The Register ha pubblicato il 15 settembre una rubrica di Steven J. Vaughan-Nichols, secondo cui il settore descrive abitualmente le pubblicazioni come "modelli open source" quando sono soltanto open-weight.
La distinzione, come la inquadra la rubrica, stabilisce se puoi solo distribuire una rete neurale finita oppure se puoi ispezionare, riprodurre, modificare e ridistribuire il sistema che l'ha prodotta. I pesi sono i parametri numerici appresi creati dall'addestramento. Insieme all'architettura e al codice di inferenza fanno funzionare un modello. Non ti dicono cosa ci sia dentro.
L'Open Source Initiative traccia il confine in modo netto. La sua posizione, citata nella rubrica, è che i pesi aperti si riferiscono ai pesi e ai bias finali di una rete neurale addestrata, e che pubblicarli espone solo "una frazione delle informazioni necessarie per una piena responsabilità".
"I pesi aperti sono un progresso. Puoi scaricare il modello, eseguirlo sulla tua macchina, tenerlo fuori dalla pipeline dati di qualcun altro. Ma non riesci ancora a vedere come è stata costruita la cosa, su cosa è stata addestrata, o perché si comporta come si comporta. Non è un modello aperto. È distribuzione aperta."
A dirlo è James Landay, direttore dello Stanford Institute for Human-Centered AI, parlando con The Register. Ha aggiunto che c'è "un divario ampio tra IA open-weight e IA open source" e ha sostenuto che, senza dati di addestramento divulgati o un resoconto documentato e verificabile degli stessi, chi è fuori non può testare o riprodurre il lavoro nel senso più pieno.
Senza i dati di addestramento, nota la rubrica, chi è fuori non può determinare quali fonti siano state usate, quale materiale protetto da copyright o privato possa essere stato incluso, come i dati siano stati selezionati o rimossi, quali lingue e comunità siano state sottorappresentate, se i dati di benchmark siano finiti nell'addestramento, o quali metodi di allineamento abbiano plasmato il modello dopo il pre-addestramento. È esattamente l'insieme di domande a cui l'articolo sulla memorizzazione cerca di rispondere empiricamente, dall'esterno, con l'estrazione invece che con la divulgazione.
La Open Source AI Definition della stessa OSI, OSAID 1.0, pubblicata a ottobre 2024, richiede che i parametri del modello, compresi i pesi, siano disponibili con termini approvati dall'OSI, ma non prescrive un meccanismo legale specifico. Ha attirato critiche da figure come Bruce Perens, autore della Open Source Definition originale, che ha dichiarato: "Non è Open Source! ... È un peccato che la Open Source Initiative stessa sia ora coinvolta nell'openwashing." Bradley Kuhn della Software Freedom Conservancy e Richard Fontana di Red Hat hanno chiesto l'abrogazione di OSAID, sostenendo che l'OSI "ha agito troppo in fretta imponendo alla comunità un compromesso politico troppo ambizioso".
Uno sforzo concorrente, la licenza Open Model, Data, and Weights della Linux Foundation, o OpenMDW, è stata sottoposta all'OSI. Esiste dal 2025, elenca contributori di Amazon, Meta, IBM, Microsoft e Nvidia e definisce termini separati per l'architettura, i dati di addestramento e i pesi di un modello. The Register riferisce che la proposta ha incontrato obiezioni sulla mailing list di revisione delle licenze dell'OSI. Stefano Maffulli, ex direttore esecutivo dell'OSI, ha detto di avere sempre più l'impressione che la revisione sia "influenzata da un pregiudizio ideologico".
Più economici, più vicini, e comunque non riproducibili
Mozilla ha pubblicato la versione 1.1 del suo rapporto State of Open Source AI il 15 settembre, con dati aggiornati al 1 settembre. Tom's Hardware ne ha parlato il giorno seguente. Il rapporto colloca il miglior modello aperto tre punti dietro il leader chiuso sull'Artificial Analysis Intelligence Index, al 60% del prezzo, e due punti dietro Claude Fable 5 al 30%. L'adattamento di Mozilla sui dati METR relativi all'orizzonte dei compiti stima il divario tra aperto e chiuso in circa 4,4 mesi, in linea con la stima di quattro mesi di Epoch AI.
La metodologia merita attenzione. METR valuta i modelli in base alla durata del compito, in tempo di lavoro umano, che riescono a completare la metà delle volte. Secondo la stima adattata di Mozilla, i modelli chiusi affrontano compiti che richiedono a esperti umani da 8 a 12 ore; i modelli aperti ci arrivano circa quattro mesi dopo, con la capacità aperta che raddoppia ogni 3,9 mesi contro 5,5 per quella chiusa. Il rapporto si basa su un sondaggio Mozilla/SlashData su circa 1.400 sviluppatori, sui dati di traffico di OpenRouter e su indici di benchmark di terze parti. Mozilla sostiene i modelli aperti, e TIME ha riferito il 14 luglio che il direttore tecnologico di Mozilla, Raffi Krikorian, ha descritto il rapporto come in parte un'azione di advocacy.
Sul Terminal-Bench 2.1 di vals.ai, che sottopone ogni modello allo stesso harness, GLM-5.2 di Z.ai ha ottenuto un punteggio a un punto da Claude Opus 4.7 e circa quattro punti dietro Opus 4.8, a meno di un quinto del costo per test. Su OpenRouter, Mozilla ha contato otto dei primi dieci modelli per volume di token ad agosto come open-weight, sette dei quali costruiti in Cina. I fornitori chiusi hanno comunque preso il 96% dei ricavi a livello di modello su OpenRouter da maggio a settembre 2025, secondo la Linux Foundation. "Vediamo la decisione di pagare per i modelli chiusi come legata al singolo carico di lavoro, non all'organizzazione", ha detto Krikorian ad Ars Technica in una email.
Il rapporto conta 16 pubblicazioni aperte di rilievo, e Tom's Hardware nota che nessuna offre la ricetta dei dati richiesta dalla definizione OSI. Il divario di quattro mesi e il dato del 30% sul prezzo dei token sono misurati da API ad API su endpoint ospitati e a prezzo di listino. Il grafico hardware dello stesso rapporto colloca il miglior modello aperto che sta su un server a 52,6 e il migliore su una singola GPU a 40, cali di 10 e 23 punti rispetto al vertice: un divario più ampio di quanto suggerisca il dato di quattro mesi. Il checkpoint nativo MXFP4 di Kimi K3 occupa circa 1,56TB su 96 shard, con la configurazione di servizio di Mozilla che elenca 64 o più acceleratori, e vLLM che richiede almeno otto GPU GB300 con più nodi per il traffico di produzione. Il rapporto lo descrive come aperto ma non eseguibile dalla maggior parte di chi lo possiede. Inkling-Small di Thinking Machines, sotto Apache 2.0, è un'eccezione, con una versione NVFP4 che sta su una B300 con un minimo di 180GB.
I dati si fermano al 1 settembre, e i benchmark si sono mossi da allora. Artificial Analysis è ora all'indice v4.3 con un set di valutazione diverso, e la sua classifica live ha Claude Fable 5.1 a 53 con l'impostazione di sforzo massimo e Kimi K3 a 44, numeri non comparabili con i valori v4.1.1 che Mozilla ha tracciato. La didascalia del grafico di Mozilla recita: "il divario si azzera a ogni ciclo di rilascio".
Un altro elemento del rapporto è presentato come accusa e non come risultato. Un avviso congiunto dell'8 settembre di NSA, CISA e FBI (AA26-251A) afferma che Moonshot ha estratto dati di Claude Fable 5 per addestrare K3 tramite distillazione, la pratica di addestrare un modello sugli output di un altro. Il rapporto di Mozilla descrive l'affermazione come "asserita e non dimostrata".
Mettendo insieme i due filoni, il quadro è scomodo per chi vuole una risposta netta. Un modello può essere scaricabile, economico, a pochi mesi dalla frontiera, e comunque opaco sui suoi dati di addestramento. E quando i ricercatori vanno a cercare cosa ha trattenuto, come ha fatto l'articolo COLM con 200 libri e più di 3.000 esperimenti, trovano che la risposta dipende da quale modello e quale libro si chieda. La sintesi di Landay del divario, come citata da The Register: "I pesi aperti rispondono a 'Posso eseguirlo?'. L'open source risponde a 'Posso fidarmi, migliorarlo e costruirci sopra la prossima cosa?'".
Fonti
3- 01Extracting memorized pieces of books from open-weight language modelsEN
- 02Open weights are not open source: Why AI's favorite label is under disputeEN
- 03China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.