Mistral AI publikuje wagi modelu Mistral Large 4 o bilionie parametrów

Zespoły bezpieczeństwa i regulowane przedsiębiorstwa mogą teraz pobrać model klasy czołowej i trzymać wrażliwy kod, logi i dane o incydentach we własnej infrastrukturze. To alternatywa dla modeli hostowanych przez OpenAI i Anthropic, których dostęp dostawca może zmienić. Wyniki niezależnych testów porównawczych wciąż nie są znane. Nie znamy też dokładności przy długim kontekście ani realnego kosztu uruchomienia modelu o bilionie parametrów.

Mistral AI otwiera wagi

Mistral AI umieścił wagi na Hugging Face i udostępnia ten sam model przez własne API.

Firma nazywa go Le Chonk. Model jest natywnie multimodalny i przyjmuje na wejściu tekst oraz obrazy. Mistral Large 4 ma około 1 bln parametrów łącznie. Przy każdym zapytaniu pracuje tylko ich część: około 52 mld aktywnych parametrów w architekturze mieszanki ekspertów, według dwóch doniesień. Trzecie doniesienie podaje około 49 mld aktywnych i około 1,05 bln łącznie. Ta rzadka konstrukcja sprawia, że model tej wielkości da się w ogóle obsłużyć, bo cała sieć nie jest uruchamiana przy każdym tokenie.

Dlaczego zespoły bezpieczeństwa się tym interesują

Mistral AI skierował wydanie do zastosowań w bezpieczeństwie. Chodzi o szukanie podatności, odtwarzanie ich w piaskownicy i łatanie kodu tak, żeby nie psuć funkcji.

Pierre Stock, wiceprezes ds. nauki w Mistral AI, przekonywał, że wagi do pobrania chronią przed wyłączeniem dostępu przez dostawcę. Powiedział dziennikarzom: „Kiedy raz otworzysz wagi, są w całym internecie. Odcięcie dostępu jest niemożliwe”. Dodał, że „nie chcesz żyć w świecie, w którym sąsiad może odciąć prąd z dnia na dzień”. Firma podaje 51% w Artificial Analysis Cyber Index i 96,6% odmów w przypadku testowanych złośliwych próśb z zakresu cyberbezpieczeństwa.

Oczywisty zarzut dotyczy podwójnego zastosowania. Rafe Pilling, starszy dyrektor ds. wywiadu zagrożeń w Sophos, nazwał to „ewidentnie technologią podwójnego zastosowania”. Jego zdaniem wszystko, co da się pobrać bez ograniczeń, może być nadużyte, ale też użyte do produktywnych celów.

Twierdzenia o wydajności

Większość liczb o wydajności pochodzi od samego Mistral AI.

Firma podaje 48% w Artificial Analysis Coding Agent Index. Twierdzi, że model zużywa średnio o 47% mniej tokenów na zadanie niż GLM-5.3. TechRepublic podał, że 48% dało remis z GLM-5.3; lavx.hu umieścił GLM-5.3 punkt wyżej, na 49. W Terminal-Bench 4.0 Mistral AI podaje 41%, o 13 punktów procentowych więcej niż 28% w wersji zapoznawczej, czyli wzrost o 13 punktów procentowych. Podaje też 73,3% w Finch, testowanym na finansowych przepływach pracy, i 84,5% w BrowseComp.

Odporność na ataki w B3 Agent Security Benchmark wzrosła do 97,1% z 93,3% w wersji zapoznawczej. Liczby podała firma.

Ile kosztuje uruchomienie

Sam skwantyzowany checkpoint waży 606 GB. Hosting w pełnej precyzji wymaga więc znacznych zasobów GPU. Licencja to zmodyfikowany MIT. Pozwala na darmowe użycie, modyfikacje, dostrajanie i komercjalizację. Firmy, które oferują model jako usługę, potrzebują osobnej licencji komercyjnej. Cennik API dla zespołów, które wolą wynajmować, to 0,70 dol. za milion tokenów wejściowych, 0,07 dol. za tokeny wejściowe z cache i 2,10 dol. za tokeny wyjściowe.

Mistral AI trenował model na GPU Nvidia GB200. Wykorzystał własne centra danych w Europie. Jedna relacja mówi o 3 840 GPU przez 45 dni, czyli około 4,15 mln godzin GPU; lavx.hu podaje około 4 000 GPU przez dwa miesiące. Organizacje, które hostują model, nadal potrzebują wiedzy technicznej. Potrzebują też procesów bezpieczeństwa, żeby same go uruchamiać i monitorować. Mistral AI nie opublikował również krzywej dokładności przy długim kontekście dla okna 1 mln tokenów, zauważył shattered.io.

Wyścig modeli z otwartymi wagami

Bliższa walka toczy się z chińskimi modelami o otwartych wagach.

Prezes Arthur Mensch opisał AI jako „narzędzie wzmocnienia, a nie dominacji”.

Firma twierdzi, że przedsiębiorstwa i rządy dostają „możliwości obrony cybernetycznej klasy czołowej, które mogą w pełni posiadać i kontrolować”. Otwarte pozostaje, czy przewaga w testach przetrwa poza laboratorium. Nie wiadomo też, ile sprzętu wymaga wdrożenie w pełnej precyzji.