Mistral ha pubblicato i pesi aperti di ML4, un modello da 1.000.000.000.000 di parametri

Cosa ha pubblicato Mistral

I pesi sono i parametri che un modello apprende durante l'addestramento; pubblicarli permette agli utenti di eseguire e adattare ML4 in proprio, riferisce heise online. Mistral sostiene che ML4 è il suo modello più grande e più avanzato, pensato per colmare il divario con i leader dei pesi aperti: Qwen di Alibaba, Gemma di Google e Kimi di Moonshot AI. Il modello conta 1.000.000.000.000 di parametri, dei quali 49.000.000.000 attivi per ogni token. In un'intervista podcast Pierre Stock, vicepresidente della ricerca scientifica di Mistral, ha spiegato che il modello indirizza ogni token verso diverse sottoreti, o esperti: una scelta che rende costoso l'addestramento ma efficiente l'esecuzione.

Stock ha detto che internamente Mistral chiama il modello Le Chonk, perché è un modello grande.

I numeri pubblicati da Mistral

Mistral ha pubblicato da sé le cifre dei benchmark. ML4 ottiene 48% sull'Artificial Analysis Coding Agent Index, praticamente allo stesso livello di GLM-5.3 di Z.ai, e 79% su CyberGym-E2E, pari a MiMo-V2.6-Pro di Xiaomi. Heise online ha scritto che i dati confermano in parte la tesi di Stock, secondo cui ML4 è il miglior modello a pesi aperti per il coding e la cybersicurezza.

Stock ha descritto la cybersicurezza come una scommessa deliberata del laboratorio. Nei test agentici, in cui i modelli pianificano ed eseguono i compiti da soli, ML4 ha risolto poco meno del 60% dei compiti, contro circa il 6% del predecessore, ha affermato. Ha però avvertito che qualsiasi benchmark può essere ingannato e che i modelli vanno supervisionati da un altro modello capace.

Dieci megawatt e dieci mesi di distacco

ML4 è stato addestrato nei data centre di Mistral in Francia con 10 MW di potenza, che Stock ha definito ridicolmente pochi rispetto a quelli usati dai concorrenti. Ha detto che tra ML4 e il modello precedente di Mistral sono passati dieci mesi, e ha attribuito il distacco alla costruzione di quei data centre e al passaggio al reinforcement learning.

La versione finale usa il 50% in meno di token a parità di intelligenza, ha detto Stock. Tra l'anteprima del 6 ottobre e il rilascio dei pesi aperti ML4 è migliorato in modo evidente, ha aggiunto. Quantizzato a FP4, gira su quattro GPU GB300: secondo lui è ancora molto, ma è un budget che università e laboratori di ricerca possono permettersi. Stock ha anche detto che ML4 è tre volte più piccolo di Kimi K3.

Perché i pesi aperti

Secondo Stock, il vantaggio per le aziende è che nessuno può tagliarti fuori. I pesi aperti tutelano la continuità operativa, ha spiegato, citando un caso in cui l'accesso viene bloccato all'improvviso durante un attacco. Mistral installa il modello sulle GPU dei clienti e poi non vede più né il modello né i dati, cosa che, ha ammesso, rende complicato il debug.

Stock ha detto che Mistral progetta una famiglia di modelli: si parte dal modello grande, poi lo si distilla in modelli più piccoli, affidando ai piccoli i compiti semplici e ricorrenti e ai grandi quelli difficili.