Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Il consorzio tedesco rimuove GPQA dalla valutazione di Soofi S: le domande del test erano nei dati di addestramento

Un consorzio di ricerca tedesco ha tolto il benchmark scientifico GPQA dalla sua valutazione di Soofi S, un modello aperto da 30.000.000.000 di parametri, dopo aver scoperto che domande riformulate del test erano finite nei dati di addestramento divulgati. Lo si legge nel rapporto di pretraining del consorzio.

IA e modelliNotiziaGiulia FerrariPubblicato: 27 settembre 20266 min di letturaFonti 2
Il consorzio tedesco rimuove GPQA dalla valutazione di Soofi S: le domande del test erano nei dati di addestramento

Il consorzio, coordinato dal KI Bundesverband, ha pubblicato la versione 3.0 del rapporto di pretraining e ha documentato da solo la contaminazione. Il set di dati coinvolto è QA-base, che avrebbe dovuto contenere solo split di addestramento riformulati da 25 benchmark standard: domande di esercitazione che insegnano a un modello il formato dei test, non le voci reali. Dentro c'erano anche domande riformulate del set di test GPQA, compresa la variante più difficile GPQA Diamond, in inglese e in tedesco tradotto automaticamente.

La causa è un dettaglio nell'etichettatura, non una scorciatoia deliberata.

Su Hugging Face, GPQA viene distribuito senza uno split di addestramento separato. Tutto il materiale di test sta sotto l'etichetta predefinita "train". La pipeline dati del consorzio selezionava i contenuti per nome dello split, così le domande del test sono finite insieme agli esercizi. Un audit avviato dopo la scoperta ha fatto emergere altri tre benchmark con lo stesso schema: TruthfulQA, BLiMP e Inverse Scaling. Nessuno di questi tre viene usato nella valutazione di Soofi S.

Un guadagno che sembrava normale

Dal rapporto emerge soprattutto che nessuno si è accorto del problema durante l'addestramento. Il modello migliorava con regolarità sui task GPQA contaminati, salendo da 32,3 a 43,4 punti, ma gli autori dicono che quel guadagno rientrava nell'intervallo normale e non si distingueva dai progressi sugli altri test. Non c'è stato alcun picco che potesse servire da avvertimento.

La correzione è procedurale. Ora il team confronta automaticamente i dati di addestramento con tutte le domande dei test, invece di affidarsi alle etichette degli split, che il rapporto definisce spesso fuorvianti.

In risposta alla fuga di dati, il consorzio ha eliminato GPQA del tutto dalla valutazione e ha ricalcolato i risultati complessivi per tutti i 16 modelli confrontati, così che il campo fosse misurato sulla stessa base. Secondo gli autori, l'ordine della classifica non è cambiato.

Nicolas Flores Herr di Fraunhofer IAIS, che partecipa al progetto, indica l'incidente come prova che l'approccio aperto funziona: sostiene che la comunità ha potuto trovare il problema solo perché i dati erano pubblici. Il team dice di aver reso disponibili circa 152.000 risultati individuali per la verifica. Una valutazione separata del partner del consorzio Ellamind, con dati di test tenuti deliberatamente nascosti e che il modello non poteva aver visto in addestramento, ha confermato i risultati. Il consorzio afferma che la porzione interessata è una frazione minima del corpus totale.

Il tempismo è scomodo per le affermazioni basate sui benchmark in generale. Articoli separati di questi giorni, compreso un lavoro dello Stanford HAI, hanno messo in dubbio quanto i test attuali sull'IA misurino davvero i sistemi a cui sono destinati.

Che cosa è davvero Soofi S

Soofi S 30B-A3B è un modello mixture-of-experts. Ha 31.600.000.000 di parametri in totale ma ne attiva circa 3.200.000.000 per ogni token generato, il che avvicina il suo costo di calcolo a quello di un modello da 3.000.000.000 di parametri più che a un 30.000.000.000 convenzionale. Il consorzio ha adottato senza modifiche l'architettura di Nemotron 3 Nano di Nvidia: un progetto ibrido che unisce layer Mamba-2 a layer di attention standard.

La differenza pratica sta nel comportamento della memoria. In un transformer convenzionale, la KV cache che conserva i token precedenti cresce in modo lineare con la lunghezza del contesto, e ricaricarla diventa un collo di bottiglia con input lunghi e molte richieste parallele. Solo 6 dei 52 layer di Soofi S mantengono una cache di questo tipo. Con una lunghezza di contesto di 40.000 token e 32 richieste parallele, il consorzio riporta per Soofi S circa otto volte più token al secondo per GPU rispetto ai modelli densi nella fascia tra 24.000.000.000 e 32.000.000.000 di parametri. Il throughput resta quasi piatto da 4.000 a 256.000 token, mentre i modelli convenzionali calano. L'unico modello con un comportamento simile nelle misurazioni, secondo il rapporto, è Qwen3.5 35B-A3B di Alibaba, che usa anch'esso un'architettura ibrida.

L'addestramento si è svolto interamente sull'Industrial AI Cloud di Deutsche Telekom a Monaco, il che rende Soofi S uno dei primi grandi modelli linguistici costruiti su quell'infrastruttura. La miscela di addestramento è volutamente sbilanciata verso il tedesco.

Sui benchmark del consorzio, il modello batte altri sistemi completamente aperti, tra cui OLMo 3 32B e Apertus 70.000.000.000, su tedesco, inglese e compiti di programmazione. Le varianti instruct e reasoning messe a punto sono in beta e dovrebbero uscire con una licenza permissiva nelle prossime settimane. Il modello più grande, Soofi L, è già in addestramento.

L'argomento dell'addestramento eccessivo

Dopo il lancio, i critici hanno sostenuto che Soofi S fosse pesantemente sovra-addestrato rispetto alle leggi di scaling di Chinchilla, pubblicate da Google DeepMind nel 2022 per descrivere come bilanciare dimensione del modello e dati di addestramento a parità di budget di calcolo. Il punto ottimale che individuavano era di circa 20 token per parametro. Soofi S lo supera di slancio. Con circa 27.000.000.000.000 di token e 30.000.000.000 di parametri, arriva a diverse centinaia a uno. Contando solo i 3.200.000.000 di parametri attivi per token, il rapporto arriva a diverse migliaia a uno.

Michael Fromm, tra i responsabili tecnici del progetto, respinge questa lettura. Sostiene che le vecchie regole non valgono per le architetture mixture-of-experts. "Nuove ricerche mostrano che le vecchie leggi di scaling dei modelli densi non si applicano più alle architetture MoE", ha detto Fromm. La ragione, secondo lui, sta nella costruzione: i singoli esperti traggono vantaggio dal vedere gli stessi documenti, quindi i dati ripetuti in un insieme grande e di alta qualità sono meno problematici di quanto sarebbero per un modello denso. Come termine di paragone cita Nvidia, che ha addestrato i propri modelli su fino a 25.000.000.000.000 di token.

I dati contaminati erano materiale di test, non materiale di esercitazione, e la pipeline non riusciva a distinguerli per via di un'etichetta.

Questa è la parte scomoda della vicenda. La fuga non è stata il caso di un laboratorio che addestra in silenzio su un set di test. È stata una convenzione di denominazione su un dataset pubblico, applicata su larga scala da una pipeline automatica, che è sfuggita a tutti finché i dati non sono stati allo scoperto e qualcuno è andato a controllare. La risposta del consorzio, confrontare ogni voce di addestramento con ogni domanda di test, è il tipo di controllo che costa calcolo e tempo e che pochi team descrivono pubblicamente.

Il contesto più ampio di questa uscita è una cultura dei benchmark sotto pressione. Un tracker pubblicato su stale.jock.pl a settembre elenca date di rilascio e cutoff di addestramento per 20 modelli attuali di 8 laboratori, e nota che solo 10 dei 20 hanno un cutoff che il laboratorio pubblica davvero. I suoi autori sostengono che un modello può uscire a settembre e aver comunque smesso di leggere ad aprile, e che gli strumenti di ricerca coprono il divario invece di chiuderlo. Su 2.000 chiamate misurate su 16 modelli, a ciascuno dei quali è stato dato uno strumento di ricerca web, riportano che i modelli di frontiera hanno deciso correttamente quasi ogni volta, mentre quelli più deboli hanno risposto a domande già risolte a memoria dopo che la risposta era cambiata.

I benchmark e le model card sono il vocabolario condiviso del settore su ciò che un sistema sa fare. Soofi S mostra entrambe le facce: una fuga documentata e gestita in pubblico, e una serie di numeri su throughput e benchmark che ora dipendono da una valutazione corretta. Le varianti instruct e reasoning, e la tabella comparativa ricalcolata, saranno le prossime cose da controllare.

Commenti 0

Fonti

2
  1. 01German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and GermanEN
  2. 02How stale is your AI? Release age and training cutoff for 20 modelsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.