Mistral opublikował otwarte wagi ML4, modelu z 1 bln parametrów

Co Mistral udostępnił

Wagi to parametry, których model uczy się podczas trenowania. Ich publikacja pozwala użytkownikom samodzielnie uruchomić i dostosować ML4, podał heise online. Mistral twierdzi, że ML4 jest jego największym i najbardziej zaawansowanym modelem i ma zmniejszyć dystans do liderów modeli z otwartymi wagami: Qwen od Alibaby, Gemmy od Google i Kimi od Moonshot AI. Model ma 1 bln parametrów, z których 49 mld pracuje przy każdym tokenie. Pierre Stock, wiceprezes ds. nauki w Mistralu, powiedział w wywiadzie podcastowym, że model kieruje każdy token do innych podsieci, czyli ekspertów. Trenowanie takiego modelu jest drogie, a samo wnioskowanie wydajne.

Wewnętrznie Mistral nazywa model Le Chonk, powiedział Stock, bo to duży model.

Liczby, które opublikował Mistral

Mistral sam podał wyniki testów porównawczych. ML4 zdobywa 48% w Artificial Analysis Coding Agent Index, praktycznie tyle samo co GLM-5.3 od Z.ai, i 79% w CyberGym-E2E, tyle co MiMo-V2.6-Pro od Xiaomi. Heise online napisał, że liczby częściowo potwierdzają tezę Stocka, iż ML4 jest najlepszym modelem z otwartymi wagami do kodowania i cyberbezpieczeństwa.

Stock nazwał cyberbezpieczeństwo świadomym zakładem laboratorium. W testach agentowych, w których modele same planują i wykonują zadania, ML4 rozwiązał nieco poniżej 60% zadań, wobec około 6% u poprzednika, powiedział Stock. Zastrzegł, że każdy test porównawczy można oszukać i że modele powinien nadzorować inny, zdolny model.

Dziesięć megawatów i dziesięciomiesięczny odstęp

Mistral trenował ML4 we własnych centrach danych we Francji, zużywając 10 MW mocy. Stock nazwał to śmiesznie małą wartością w porównaniu z tym, ile zużywają konkurenci. Powiedział, że między ML4 a poprzednim modelem Mistrala minęło dziesięć miesięcy, i przypisał ten odstęp budowie centrów danych oraz przejściu na uczenie ze wzmocnieniem.

Wersja finalna zużywa o 50% mniej tokenów przy tym samym poziomie inteligencji, powiedział Stock. Między zapowiedzią z 6 października a wydaniem otwartych wag ML4 wyraźnie się poprawił, powiedział Stock. Po kwantyzacji do FP4 działa na czterech GPU GB300, co, jak przyznał, wciąż jest dużo, ale to budżet, na który stać uniwersytety i laboratoria badawcze. Stock powiedział też, że ML4 jest trzy razy mniejszy niż Kimi K3.

Dlaczego otwarte wagi

Stock powiedział, że dla firm zaletą jest to, że nikt nie może odciąć im dostępu. Otwarte wagi chronią ciągłość działania firmy, argumentował, przywołując przypadek nagłego zablokowania dostępu w trakcie ataku. Mistral instaluje model na GPU klientów i potem nie widzi ani modelu, ani danych, co, jak przyznał, utrudnia debugowanie.

Stock powiedział, że Mistral planuje rodzinę modeli: zaczyna od dużego modelu, potem destyluje go do mniejszych, kierując proste, powtarzalne zadania do małych modeli, a trudne do dużych.