Mistral veröffentlicht offene Gewichte für ML4, ein Modell mit 1 Billion Parametern

Was Mistral veröffentlicht hat

Die Gewichte sind die Parameter, die ein Modell beim Training lernt. Wer sie veröffentlicht, erlaubt anderen, ML4 selbst zu betreiben und anzupassen, berichtete heise online. Mistral bezeichnet ML4 als sein größtes und leistungsfähigstes Modell. Es soll den Abstand zu den führenden offenen Modellen verkleinern: Qwen von Alibaba, Gemma von Google und Kimi von Moonshot AI. ML4 hat 1.000.000.000.000 Parameter, davon sind 49.000.000.000 pro Token aktiv. Pierre Stock, Vizepräsident für Wissenschaft bei Mistral, sagte in einem Podcast-Interview, das Modell leite jeden Token an verschiedene Teilnetze weiter, sogenannte Experten. Das mache das Training teuer, den Betrieb aber effizient.

Intern nennt Mistral das Modell Le Chonk, sagte Stock, weil es ein großes Modell ist.

Die Zahlen, die Mistral veröffentlicht hat

Die Benchmark-Werte hat Mistral selbst veröffentlicht. ML4 erreicht 48% im Artificial Analysis Coding Agent Index und liegt damit praktisch gleichauf mit GLM-5.3 von Z.ai. Im CyberGym-E2E sind es 79%, gleichauf mit MiMo-V2.6-Pro von Xiaomi. Heise online schrieb, die Zahlen stützten Stocks Aussage teilweise, ML4 sei das beste Modell mit offenen Gewichten für Programmierung und Cybersicherheit.

Cybersicherheit nennt Stock eine bewusste Entscheidung des Labors. In agentischen Tests, in denen Modelle Aufgaben selbst planen und ausführen, löste ML4 knapp 60% der Aufgaben, nach etwa 6% beim Vorgängermodell, sagte er. Er schränkte ein, dass sich jeder Benchmark austricksen lasse, und forderte, Modelle von einem zweiten leistungsfähigen Modell beaufsichtigen zu lassen.

Zehn Megawatt und eine Lücke von zehn Monaten

ML4 wurde in den eigenen Rechenzentren von Mistral in Frankreich mit 10 MW Leistung trainiert. Stock nannte das lächerlich wenig im Vergleich zu dem, was Wettbewerber betreiben. Zwischen ML4 und dem vorigen Mistral-Modell lagen zehn Monate, sagte er. Die Lücke erklärt er mit dem Bau dieser Rechenzentren und dem Wechsel zu Reinforcement Learning.

Die finale Version braucht 50% weniger Tokens bei gleicher Intelligenz, sagte Stock. Zwischen der Vorschau vom 6. Oktober und der Veröffentlichung der offenen Gewichte habe sich ML4 deutlich verbessert. In FP4 quantisiert läuft es auf vier GB300 GPUs. Das sei immer noch viel, sagte er, aber ein Budget, das Universitäten und Forschungslabore tragen können. Stock sagte außerdem, ML4 sei dreimal kleiner als Kimi K3.

Warum offene Gewichte

Der Vorteil für Unternehmen liegt laut Stock darin, dass niemand ihnen den Zugang abschneiden kann. Offene Gewichte sicherten die Geschäftskontinuität, etwa wenn der Zugang während eines Angriffs plötzlich gesperrt wird. Mistral installiert das Modell auf den GPUs der Kunden und sieht danach weder das Modell noch die Daten. Das mache die Fehlersuche kompliziert, räumte er ein.

Mistral plant nach Stocks Worten eine Modellfamilie: Zuerst kommt das große Modell, dann wird es in kleinere Modelle destilliert. Einfache, wiederkehrende Aufgaben gehen an kleine Modelle, schwierige an große.