Otwarte wagi zmniejszają przewagę, ale luka resetuje się przy każdym cyklu wydań

Raport to wersja 1.1 cyklicznej oceny, którą Mozilla po raz pierwszy opublikowała na swoim blogu 14 lipca. Według Tom's Hardware opiera się na ankiecie Mozzili i SlashData wśród około 1 400 developerów, danych o ruchu OpenRouter i zewnętrznych indeksach benchmarków. Mozilla to organizacja non-profit wspierająca otwarte modele, a TIME 14 lipca poinformował, że CTO Mozzili Raffi Krikorian opisał raport jako częściowo działający na rzecz otwartości. Ten kontekst ma znaczenie przy interpretacji liczb.

Centralne twierdzenie Mozzili brzmi tak: najlepszy otwarty model tracił trzy punkty do lidera zamkniętego na Artificial Analysis Intelligence Index, przy cenie wynoszącej 60% stawki zamkniętego odpowiednika, i dwa punkty do Claude Fable 5, przy cenie 30%. Dopasowując dane METR dotyczące horyzontu zadań, Mozilla szacuje lukę między modelami o otwartych i zamkniętych wagach na około 4,4 miesiąca, co jest zgodne z cztero-miesięcznym szacunkiem Epoch AI. METR to badawcza organizacja non-profit, która ocenia modele według długości zadań, w ludzkim czasie pracy, które kończą z prawdopodobieństwem 50%.

Cztery miesiące, co mierzą

Według dopasowanej szacunki Mozzili, modele zamknięte radzą sobie z zadaniami, na które eksperci ludzcy potrzebują 8 do 12 godzin. Modele otwarte osiągają ten poziom około cztery miesiące później. Mozilla oblicza podwojenie wydajności otwartych modeli co 3,9 miesiąca, w porównaniu z 5,5 miesiąca dla modeli zamkniętych. Na Terminal-Bench 2.1 z vals.ai, który przepuszcza każdy model przez ten sam harness, GLM-5.2 od Z.ai uzyskał wynik w odległości jednego punktu od Claude Opus 4.7 i około czterech punktów za Opus 4.8, przy koszcie poniżej jednej piątej za test.

"Postrzegamy decyzję o płaceniu za zamknięte [modele] jako zależną od obciążenia, a nie od organizacji" - powiedział Krikorian w e-mailu do Ars Technica.

Adopcja po stronie developerów wygląda inaczej niż przychody. Na OpenRouter, marketplace kierującym ruch do setek modeli, Mozilla zliczyła osiem z dziesięciu modeli z najwyższym wolumenem tokenów do sierpnia jako modele o otwartych wagach, z czego siedem wytworzonych w Chinach. Dostawcy zamknięci i tak przejęli 96% przychodów warstwy modeli na OpenRouter od maja do września 2025, według Linux Foundation. Darmowe lub tanie tokeny i płatne przychody to nie ten sam rynek.

Mozilla zlicza 16 znaczących wydań otwartych, ale żadne nie dostarcza recepty na dane wymaganej przez definicję Open Source Initiative. To rozróżnienie jest całym argumentem wpisu OSI z 19 września zatytułowanego „Open Weights Are Good. Open Source Is Better.”. Otwarte wagi, pisze OSI, pozwalają uruchomić model lokalnie, zapłacić stronie trzeciej za hostowanie lub dobrać go na własnych danych. Nie pozwalają jednak w pełni go zbadać, ponieważ kod i dane treningowe lub szczegółowy opis sposobu ich budowy nie są częścią wydania.

Uwaga dotycząca sprzętu

Liczba 4,4 miesiąca i cena tokena 30% są mierzone API do API na hostowanych endpointach po cenie katalogowej. Własny wykres sprzętowy Mozzili opowiada surowszą historię. Najlepszy otwarty model mieszczący się na jednym serwerze uzyskał wynik 52,6; najlepszy mieszczący się na jednej karcie GPU uzyskał 40. Spadek od czołówki wynosi odpowiednio 10 i 23 punkty, co stanowi większą lukę, niż sugerują cztery miesiące.

Natywny checkpoint Kimi K3 w formacie MXFP4 zajmuje około 1,56TB na 96 shardach, zgodnie z raportem. Konfiguracja serwowania Mozzili wymienia 64 lub więcej akceleratorów, podczas gdy vLLM wymaga co najmniej ośmiu GPU GB300, z wieloma węzłami dla ruchu produkcyjnego. Tom's Hardware oszacował potrzebę pamięci na około 1,5TB w lipcu. Raport opisuje to jako otwarte, ale nie wykonalne przez większość, która je posiada. Jednym z wymienionych wyjątków jest Inkling-Small od Thinking Machines, pod licencją Apache 2.0, którego wersja NVFP4 mieści się na jednym B300 przy progu 180GB.

Istnieje też problem z czasem. Dane raportu kończą się 1 września. Od tego czasu Artificial Analysis przeniósł swój indeks do v4.3 z innym zestawem oceny. Żywa tablica ma Claude Fable 5.1 na 53 przy najwyższym ustawieniu wysiłku, z Kimi K3 na 44, liczby, których Mozilla nie wykreśliła i które nie są porównywalne z liczbami z v4.1.1, których użyła. Tablica Terminal-Bench 2.1 z vals.ai, zaktualizowana 11 września, jest teraz prowadzona przez GPT-6 Astra na 87,27%, z Fable 5.1 na 85,02%. Podpis własnego wykresu Mozzili brzmi: „the gap resets every release cycle.”

K3 niesie też oskarżenie opisane w wspólnym doradztwie NSA, CISA i FBI AA26-251A z 8 września. Twierdzenie, które raport Mozzili przedstawia jako „asserted, and unshown”, brzmi, że Moonshot wyekstrahował dane Claude Fable 5, aby przeszkolić K3 przez destylację, praktykę trenowania jednego modelu na wynikach drugiego. 17 lipca Artificial Analysis dawało K3 57 w porównaniu z 60 Fable 5; 1 września Mozilla dawała dwa punkty za.

Drobne modele, wąskie zadania

Nie każde wydanie o otwartych wagach goni frontier. S1-mini od Superwhisper, opublikowany na Hugging Face, to normalizator tekstu o 0,6B parametrów dla wyjścia speech-to-text. Bierze surowy transkrypt ASR i przepisuje go jako tekst pisany: usuwa wypełniacze, rozwiązuje fałszywe starty i autokorekty, stosuje interpunkcję i wielkie litery, a liczby mówione, daty, godziny, waluty i adresy e-mail renderuje w formie pisemnej. Na zbiorze testowym 7 519 angielskich przypadków osiąga 94,8% dokładności tokenów, a skwantyzowana wersja to plik o wielkości 462 MiB, który działa na CPU laptopa.

Karta modelu jest nietypowo bezczelna w kwestii tego, czym nie jest. S1-mini to nie model czatowy i nie będzie wykonywał ogólnych instrukcji. Jest dostrojony od Qwen/Qwen3-0.6B i oczekuje linii kontrolnej na górze wejścia, określającej styl, strukturę i kontekst. Pominij prompt systemowy, zmień jego sformułowanie lub wyślij wartości poza zestawami treningowymi, ostrzega karta, a model może halucynować lub produkować zniekształcony output. Jest tylko po angielsku, licencjonowany Apache 2.0 plus klauzula nazewnicza. Pasek boczny Hub zgłasza 0,8B parametrów, ale karta wyjaśnia, że model.safetensors przechowuje lm_head.weight jako zmaterializowaną kopię embeddingu wejściowego, licząc embedding 155,6M parametrów dwukrotnie: 752M elementów tensora w porównaniu z 596M unikalnych parametrów. Układ jest dziedziczony z Qwen3-0.6B, który zgłasza 0,8B z tego samego powodu.

Podobny wzorzec pojawia się w opisie wdrożenia z 22 września autorstwa Jamesa Cruce'a. Wybrał Laya, otwarty model decyzyjny o 421M parametrach, zamiast hostowanego Jev od TypeSafe dla małych, ograniczonych wyborów, które wykonują jego agenci kodujący. Checkpoint, convaiinnovations/laya-typed-decisions, ma enkoder ModernBERT-large i limit 1 024 tokenów, i zwraca odpowiedziami typowanymi: wybór między nazwanymi opcjami, punktacja na uporządkowanej skali lub prawdopodobieństwo dla twierdzenia tak/nie. Brak akapitów do parsowania. Jev, w przeciwieństwie do tego, to wczesnodostępna usługa hostowana w cenie $0,042 za milion tokenów wejściowych bez opłaty za tokeny wyjściowe, a TypeSafe twierdzi, że obsługuje wybory z do 255 opcjami.

Podany przez Cruce'a powód zmiany nie był koszt. Chciał, aby rutynowe decyzje działały na jego Mac Studio z danymi lokalnymi pozostającymi lokalnie, i chciał kontrolę nad dokładnym modelem, dozwolonymi opcjami i zachowaniem przy awarii. Nie obliczył progu rentowności i mówi, że nie ma liczby oszczędności do podania. Ostrzega też przed limitami: wydawca trenował Layę na czterech syntetycznych workflow, a routowanie modeli nie jest jednym z nich, więc wynik to jedno wdrożenie na M3 Ultra z 256GB zjednoczonej pamięci, a nie ogólny werdykt na temat Laya w porównaniu z Jev. Karta modelu ostrzega, że model jest nadmiernie pewny siebie i potrzebuje kalibracji domenowej. „Odpowiedź typowana może być strukturalnie perfekcyjna i faktycznie błędna” - pisze.

Sytuacja prawna wokół wag jest tak samo nieustalona. Papier autorstwa A. Feder Cooper, Marka A. Lemley i współautorów, pierwszy raz złożony 18 maja 2025 i rewidowany do 20 lipca 2026, zmierzył memuizację na 200 książkach i 14 modelach o otwartych wagach w ponad 3 000 eksperymentach. Jego odkrycie ciśnie przeciwko obu stronom walk praw autorskich. Większość modeli nie memuizuje większości książek, w całości ani częściowo. Ale Llama 3.1 70B całkowicie memuizuje niektóre, w tym Harry Potter i Kamień Filozoficzny, do tego stopnia, że cała książka może zostać wyekstrahowana niemal dosłownie z pierwszych kilku słów jako prompt. Autorzy piszą, że ich wyniki mają znaczące implikacje dla spraw o prawa autorskie, choć nie takie, które jednoznacznie faworyzują którąś stronę.

Nic z tego nie rozstrzyga, czy otwarte wagi wygrywają. Metryki, które wyglądają najlepiej dla otwartości, cena za token i udział w kierowanym ruchu, siedzą obok metryk, które wyglądają gorzej, wydajność na pojedynczym serwerze i pojedynczej karcie GPU oraz udział w przychodach. Własny podpis Mozzili to uczciwe podsumowanie: luka resetuje się przy każdym cyklu wydań.