Otwarte wagi, otwarte pytania: co faktycznie pokazują ostatnie wydania

Mozilla opublikowała wersję 1.1 raportu State of Open Source AI 15 września, korzystając z danych aktualnych do 1 września, jak poinformował Tom's Hardware. Główny wniosek: najlepszy otwarty model ustępował zamkniętemu liderowi o trzy punkty na Artificial Analysis Intelligence Index przy cenie wynoszącej 60% i plasował się o dwa punkty za Claude Fable 5 przy 30%. Szacunek Mozilli na danych METR dotyczących horyzontu zadań wskazuje na lukę około 4,4 miesiąca, co jest zgodne z szacunkiem cztery miesiące od Epoch AI.

To skompresowana luka. Jest ona jednak mierzona w bardzo specyficzny sposób.

Czego tak naprawdę dotyczy wskaźnik czterech miesięcy

Liczba ta opiera się na METR, non-profit badawczym, który ocenia modele według długości zadania, wyrażonej w czasie pracy człowieka, które wykonują z prawdopodobieństwem 50%. Według szacunku Mozilli, modele zamknięte radzą sobie z zadaniami, które wymagają od ekspertów 8 do 12 godzin. Modele otwarte osiągają ten poziom około cztery miesiące później. Mozilla oblicza podwojenie zdolności otwartych co 3,9 miesiąca, w porównaniu z 5,5 miesiąca dla modeli zamkniętych. Raport opiera się na ankiecie Mozilla/SlashData wśród około 1 400 programistów, danych o ruchu z OpenRouter oraz zewnętrznych indeksów benchmarkowych, co zgłosił Tom's Hardware. Mozilla to organizacja non-profit stojąca za Firefoxem i zwolenniczka modeli otwartych: TIME doniosło 14 lipca, że główny technolog Mozilli, Raffi Krikorian, opisał raport jako częściowo działający na rzecz adwokatury.

Istnieje drugie zastrzeżenie ukryte w metodologii. Luka czterech miesięcy i wartość 30% ceny tokenów są mierzone API do API na hostowanych punktach końcowych i przy cenie katalogowej. To porównanie tego, jak sprzedawane są dwie kategorie modeli, a nie tylko tego, co potrafią.

Własny wykres sprzętowy z raportu ostry to punkt. Najlepszy otwarty model mieszczący się na jednym serwerze uzyskuje wynik 52,6; najlepszy mieszczący się na jednej karcie GPU uzyskuje 40. Spadek od szczytu wynosi odpowiednio 10 i 23 punkty, co stanowi większą lukę niż zgłoszone cztery miesiące. Natywny checkpoint MXFP4 Kimi K3 zajmuje około 1,56TB rozłożone na 96 shardów, a konfiguracja serwerowa Mozilli wymienia 64 lub więcej akceleratorów, podczas gdy vLLM wymaga co najmniej ośmiu GPU GB300, z wieloma węzłami dla ruchu produkcyjnego. Raport opisuje to jako otwarte, ale nie do uruchomienia dla większości osób, które je posiadają. Tom's Hardware oszacował zapotrzebowanie na pamięć na około 1,5TB w lipcu. Jednym kontrprzykładem w raporcie jest Inkling-Small od Thinking Machines, na licencji Apache 2.0, którego wersja NVFP4 mieści się na jednej B300 przy dolnej granicy 180GB.

Czyli: do pobrania, tak. Praktyczne dla małego zespołu, czasem nie.

Tanie i blisko benchmarki

Mozilla wykresowała również wyniki Terminal-Bench 2.1 z vals.ai, które przepuszczają każdy model przez ten sam harness, czyli warstwę oprogramowania oferującą modelowi narzędzia. Na tej tablicy GLM-5.2 od Z.ai uzyskał wynik w odległości punktu od Claude Opus 4.7 i około cztery punkty za Opus 4.8, przy koszcie poniżej jednej piątej za test. Na OpenRouter, rynku kierującym ruch programistów do setek modeli, Mozilla policzyła osiem z dziesięciu najlepszych modeli pod względem wolumenu tokenów do sierpnia jako otwartowagowe, siedem z nich zbudowanych w Chinach. Dostawcy zamknięci osiągnęli jednak 96% przychodów warstwy modelowej na OpenRouter od maja do września 2025, według Linux Foundation.

Krikorian powiedział w e-mailu do Ars Technica, że Mozilla postrzega decyzję o płaceniu za modele zamknięte jako zależną od obciążenia, a nie od organizacji.

Dane kończą się 1 września, a tablice się zmieniły. Artificial Analysis przesunęło swój indeks do v4.3 z innym zestawem ewaluacyjnym; na żywej tablicy Claude Fable 5.1 ma 53 przy najwyższym ustawieniu wysiłku, a Kimi K3 ma 44, liczby nieporównywalne z wartościami v4.1.1 wykresowanymi przez Mozillę. Tablica Terminal-Bench 2.1 z vals.ai, zaktualizowana 11 września, jest prowadzona przez GPT-6 Astra z wynikiem 87,27%, a Fable 5.1 ma 85,02%. Własny podpis pod wykresem Mozilli głosi: „luka resetuje się co cykl wydań”.

K3 nosi też oskarżenie opisane w wspólnym doradczym NSA/CISA/FBI AA26-251A z 8 września. Twierdzenie, które raport Mozilli opisuje jako „twierdzone, ale nieudowodnione”, brzmi, że Moonshot wyekstrahował dane Claude Fable 5, aby trenować K3 przez destylację, czyli praktykę trenowania jednego modelu na wyjściach innego. 17 lipca Artificial Analysis miało K3 na 57 w porównaniu z 60 dla Fable 5; 1 września Mozilla miała go o dwa punkty za.

Otwarte wagi to nie Open Source, i ta różnica robi robotę

Open Source Initiative wykorzystał ten moment, aby wytyczyć linię. W poście z 19 września OSI argumentował, że modele otwartowagowe pozwalają ćwiczyć niektóre z czterech wolności oprogramowania, wolność używania, studiowania, modyfikowania i udostępniania bez pytania o pozwolenie od właściciela praw, ale nie wszystkie, i tylko w pewnym stopniu. Model składa się z trzech komponentów: danych treningowych, wag i parametrów oraz kodu do przygotowania danych i treningu. Otwarte wagi wydają tylko środkowy.

Przy otwartych wagach możesz wybrać uruchomienie modelu lokalnie, płacąc tylko za energię i sprzęt, albo możesz pracować z dostawcą trzeciej strony, aby go hostować. Możesz również dostroić model własnymi danymi.

Przykładem OSI alternatywy jest Olmo od Ai2, wydane jako Open Source AI, które pozwoliło badaczom wstrzykiwać nowe informacje do danych treningowych i obserwować, jak model je zapamiętywał lub zapominał. Raport Mozilli liczy 16 godnych uwagi otwartych wydań, ale Tom's Hardware zauważa, że żadne nie dostarcza przepisu na dane wymaganego przez definicję Open Source Initiative. OSI szacuje wartość popytową ekosystemu Open Source na 8 800 000 000 000 dolarów.

Ta ramka ma znaczenie dla polityki, ale nie rozstrzyga, czy otwarte wagi są użyteczne. Są nimi jasno, w wąskich zadaniach.

Małe modele, konkretne zadania

Superwhisper wydało S1-mini, normalizator tekstu z 0,6B parametrów do wyjścia speech-to-text, dostrojony z Qwen/Qwen3-0.6B i na licencji Apache 2.0 z klauzulą nazewniczą. Przyjmuje surowy transkrypt ASR i przepisuje go jako czysty tekst pisany: usuwane są wypełniacze, rozwiązywane fałszywe starty, stosowana interpunkcja, liczby i daty mówione są renderowane w formie pisanej. Na zbiorze testowym 7 519 przypadków angielskich osiąga 94,8% dokładności tokenów, a zkwantyzowana wersja to plik 462 MiB działający na CPU laptopa. Karta modelu jest nietypowo bezwzględna co do zakresu: to nie model czatu, nie będzie wykonywać ogólnych instrukcji, obejmuje tylko angielski i oczekuje linii kontrolnej na początku wejścia. Liczba parametrów to też mała lekcja czytania kart modeli: pasek boczny Hub raportuje 0,8B, ale karta wyjaśnia, że lm_head.weight jest przechowywane jako zmaterializowana kopia wbudowania wejściowego, więc wbudowanie o 155,6M parametrów jest liczone dwukrotnie, 751,6M elementów tensora w porównaniu z 596,0M unikalnych parametrów.

Drugi przykład pochodzi z opisu praktyka, nie dostawcy. James Cruce opisał 22 września zastąpienie deterministycznego routera we własnym systemie agentów modelem Laya, otwartowagowym modelem decyzji typowanych od convaiinnovations z około 421 000 000 parametrów, enkoderem ModernBERT-large i limitem 1 024 tokenów. Zwraca typowane odpowiedzi, wybór wśród nazwanych opcji, punkt na skali uporządkowanej lub prawdopodobieństwo dla stwierdzenia tak/nie, a nie prozę do parsowania. Wybrał go nad hostowanym Jev od TypeSafe, który kosztuje 0,042 dolara za milion tokenów wejściowych bez opłaty za tokeny wyjściowe i obsługuje wybory z do 255 opcjami, ponieważ chciał rutynowe decyzje działające lokalnie na Mac Studio z M3 Ultra i 256GB pamięci zjednoczonej. Wyraźnie stwierdza, że to jedno wdrożenie: nie testował, czy Laya ogólnie bije Jev, i traktuje model jako rekomender w programie, nigdy jako źródło pozwolenia lub prawdy. Karta modelu ostrzega, że jest nadmiernie pewna i wymaga kalibracji specyficznej dla dziedziny.

To są przypadki, w których otwarte wagi przestają być argumentem geopolitycznym, a zaczynają być wyborem inżynieryjnym. Normalizator 462 MiB i model decyzji 421M to nie systemy frontowe. To też rodzaj rzeczy, które zespół może przypiąć, uruchomić offline i audytować bez telefonu do zakupów.

Pytanie o prawa autorskie pozostaje nierozwiązane

Najważniejsze badanie otwartych wag z zeszłego roku dotyczy tego, co znajduje się w wagach. Artykuł A. Feder Cooper, Mark A. Lemley i siedmiu współautorów, po raz pierwszy złożony 18 maja 2025 i zrewidowany do 20 lipca 2026, mierzy pamiętanie książek w 200 tytułach i 14 otwartowagowych LLM, przez ponad 3 000 eksperymentów. Streszczenie stwierdza, że większość LLM nie pamięta większości książek, ani w całości, ani częściowo, ale są godne uwagi wyjątki. Llama 3.1 70B całkowicie pamięta niektóre książki, w tym Harry Potter i Kamień Filozoficzny; autorzy piszą, że można deterministycznie wyekstrahować całą książkę niemal dosłownie, używając pierwszych kilku słów książki jako początkowego promptu.

Ramka artykułu jest celowo niewygodna dla obu stron sporów o prawa autorskie. Stwierdza, że powód i pozwany składają szerokie, sprzeczne twierdzenia, które dramatycznie upraszczają związek między pamiętaniem a prawami autorskimi, i że jego wyniki mają znaczące implikacje dla spraw o prawa autorskie, choć nie te jednoznacznie korzystne dla jednej ze stron. Artykuł został przyjęty na COLM 2026.

Łącząc dwa wątki, obraz miesiąca jest mniej uporządkowany, niż chciałoby to którekolwiek z obozów. Otwarte wagi są wystarczająco blisko frontu na zbiorczych benchmarkach, aby przewartościować wiele pracy, i znacznie tańsze w niektórych z nich. Często są zbyt duże, aby służyć bez racka. Nie są Open Source według definicji, której używa duża część społeczności. Mogą zawierać tekst dosłowny z książek, które nikt nie zlicencjonował. A model 0,6B, który czyści dyktowanie, nadal robi dokładnie to, co mówi.

Własny podpis Mozilli może być najbardziej szczerym zdaniem w raporcie: luka resetuje się co cykl wydań.