Pesi aperti, open source e un modello che ha imparato a memoria Harry Potter

Due cose sono vere allo stesso tempo dei modelli linguistici a pesi aperti, e l'industria ha passato tre anni a fingere il contrario. Sono davvero utili. E non sono open source.

La distinzione non è una sottigliezza semantica. Decide se qualcuno fuori dal laboratorio che rilascia il modello può verificare cosa ha imparato, riprodurre come lo ha imparato o controllare le affermazioni su bias e sicurezza. L'ondata attuale di rilasci "aperti", dalla linea Llama di Meta al Mixtral di Mistral, pubblica i pesi e poco altro. Codice di addestramento, dataset e metodologia restano dietro il muro. L'articolo di Prompt Engineering del dicembre 2023 metteva la lacuna nero su bianco: i pesi aperti consentono di usare il modello ma non danno piena trasparenza, mentre l'open source permette di capire e personalizzare il modello ma richiede molto più lavoro in fase di rilascio.

Che cos'è davvero un peso

I pesi sono il risultato numerico di un addestramento. Non sono leggibili da un essere umano, non si possono debuggare e non sono istruzioni. Il codice sorgente è tutte e tre le cose. Secondo Prompt Engineering, confondere le due cose è un errore comune con conseguenze reali, perché porta a descrivere come open source una pipeline di addestramento proprietaria solo perché un file di parametri è scaricabile.

Il costo pratico si vede nella verificabilità. Se sono disponibili solo i pesi, gli sviluppatori possono eseguire modelli allo stato dell'arte ma non possono valutare davvero bias, limiti e impatti sociali, sostiene lo stesso articolo. Il disallineamento tra un modello e le esigenze del mondo reale diventa difficile da individuare. Con accesso completo al sorgente, ricercatori di organizzazioni diverse possono condurre audit rigorosi di equità, sicurezza e robustezza. Questo è lo scambio: comodità ora, ispezionabilità mai.

Rilasciare solo i pesi di un modello abilita ampiamente lo sviluppo di applicazioni ma concentra il controllo in un piccolo gruppo di organizzazioni. Abilitare l'accesso open source distribuisce il controllo ma richiede un impegno maggiore verso trasparenza e decentralizzazione.

Quella formulazione ha retto bene al tempo, anche perché le prove del problema dell'ispezionabilità continuano ad arrivare.

Il problema della memorizzazione

Il 18 maggio 2025, un gruppo di ricercatori tra cui A. Feder Cooper, Mark A. Lemley e Percy Liang ha presentato ad arXiv un articolo che misura quanto testo di libri protetti da copyright i modelli linguistici a pesi aperti possano essere indotti a riprodurre. Hanno applicato la loro tecnica di estrazione a 200 libri e 14 modelli a pesi aperti, eseguendo più di 3.000 esperimenti. La sesta versione dell'articolo, revisionata il 20 luglio 2026, è quella attuale.

Il risultato principale va contro entrambe le parti del contenzioso sul copyright. Secondo l'articolo, la maggior parte dei modelli linguistici non memorizza la maggior parte dei libri, né integralmente né in parte. Ma ci sono eccezioni notevoli. Llama 3.1 70B memorizza interamente alcuni libri, tra cui Harry Potter e la pietra filosofale. La memorizzazione è abbastanza estesa da permettere di estrarre quasi alla lettera l'intero libro, in modo deterministico, usando le sue prime parole come prompt iniziale.

Attori e convenuti nelle cause sul copyright dell'IA generativa, scrivono gli autori, avanzano affermazioni ampie e opposte sulla memorizzazione che semplificano in modo drastico il rapporto tra memorizzazione e copyright. I loro risultati, aggiungono, hanno implicazioni significative per i casi sul copyright, anche se non tali da favorire in modo inequivocabile l'una o l'altra parte.

C'è un dettaglio da notare nell'esperimento. Servivano pesi scaricabili e interrogabili. Un modello ad accesso ristretto avrebbe reso lo stesso test impossibile per ricercatori esterni. I pesi aperti, in altre parole, hanno reso possibile la scoperta anche se i pesi aperti non sono open source.

Un piccolo controesempio

Non ogni rilascio a pesi aperti è un modello di frontiera. Superwhisper ha pubblicato s1-mini, un normalizzatore di testo da 0,6B parametri per l'output speech-to-text, con licenza Apache 2.0 più una clausola sul nome. Prende una trascrizione ASR grezza e la riscrive come testo scritto pulito: riempitivi rimossi, falsi inizi risolti, punteggiatura e maiuscole applicate, numeri e date pronunciati resi in forma scritta. Su un set di validazione di 7.519 casi in inglese raggiunge il 94,8% di accuratezza sui token, e la build quantizzata è un file da 462 MiB che gira sulla CPU di un laptop.

Le note di rilascio sono insolitamente franche su una stranezza della documentazione. La barra laterale di Hugging Face riporta 0,8B parametri, ma la model card dice che la cifra reale è 596,0M parametri unici, perché l'embedding da 155,6M parametri è memorizzato due volte: 751,6M elementi tensoriali contro 596,0M unici. La struttura è ereditata da Qwen/Qwen3-0.6B, che riporta 0,8B sull'Hub per lo stesso motivo.

Quel tipo di divulgazione è l'intero argomento a favore del rilascio dei pesi con la documentazione. Ed è anche, esattamente, non codice sorgente. La model card ti dice il modello di base, la precisione, la forma attesa dell'input e la licenza. Non ti dà i dati di addestramento né la ricetta completa.

Perché le etichette contano meno dell'accesso

Prompt Engineering ha proposto di dividere il vocabolario: usare "Open Weights" per le licenze che coprono i pesi delle reti neurali, e "Ethical Weights" per una categoria separata di licenze pensate specificamente per i pesi. La proposta non è stata adottata su larga scala, e il marketing non ha rallentato.

• Pesi aperti: parametri rilasciati, codice e dati di addestramento trattenuti, uso e fine-tuning consentiti.
• Open source: codice dell'architettura, metodologia di addestramento, iperparametri, dataset originale e documentazione rilasciati.
• Pesi ristretti: parametri disponibili solo con significative limitazioni legali o etiche.

La distinzione ha un effetto di secondo ordine che raramente compare nei post di annuncio. L'open sourcing potenzia il progresso decentralizzato, nella formulazione di Prompt Engineering, perché ricercatori di tutto il mondo possono proporre miglioramenti e direzioni di sviluppo alternative, invece di lasciare il progresso strozzato dal piccolo numero di aziende in grado di addestrare enormi modelli proprietari. I pesi aperti concentrano invece quella capacità, mentre distribuiscono gli artefatti.

Niente di tutto questo significa che i rilasci a pesi aperti siano privi di valore. Lo studio sulla memorizzazione esiste perché non lo sono. Ma un checkpoint scaricabile è una licenza per usare un modello, non una licenza per capirlo, e la distanza tra queste due cose è dove si sta svolgendo davvero la maggior parte dell'attuale dibattito sull'apertura dell'IA.