Otwarte wagi doganiają modele frontier, ale etykieta robi za dużo

Mozilla opublikowała wersję 1.1 raportu State of Open Source AI 15 września, korzystając z danych aktualnych do 1 września. Tom's Hardware 16 września poinformował, że najlepszy model otwarty ustępował zamkniętemu liderowi o trzy punkty w Artificial Analysis Intelligence Index przy 60% ceny, a o dwa punkty za Claude Fable 5 przy 30%. Szacunki Mozilla na danych METR task-horizon umieszczają odstęp między otwartymi a zamkniętymi na poziomie około 4,4 miesiąca. To zgadza się z czteromiesięcznym szacunkiem Epoch AI.

Metodologia ma znaczenie, ponieważ główna liczba podróżuje dalej niż jej zastrzeżenia.

METR ocenia modele na podstawie długości zadania, mierzonego w ludzkim czasie pracy, które model wykonuje w połowie przypadków. Według szacunku dopasowanego przez Mozilla, modele zamknięte radzą sobie z zadaniami wymagającymi od 8 do 12 godzin pracy eksperta. Modele otwarte osiągają ten poziom około cztery miesiące później, przy czym zdolności otwarte podwajają się co 3,9 miesiąca, a zamknięte co 5,5, według obliczeń Mozilla. Raport zawierał również wyniki Terminal-Bench 2.1 z vals.ai, które przepuszczają każdy model przez ten sam harness, czyli warstwę oprogramowania dostarczającą narzędzia.

Na tej tablicy GLM-5.2 od Z.ai uzyskał wynik w obrębie punktu od Claude Opus 4.7 i około cztery punkty za Opus 4.8, przy koszcie poniżej jednej piątej za test. Na OpenRouter, rynku kierującym ruch deweloperski do setek modeli, Mozilla policzyła osiem z dziesięciu najlepszych modeli pod względem wolumenu tokenów w sierpniu jako otwarto-wagowe, z czego siedem wytworzonych w Chinach.

A teraz pieniądze.

Zamknięci dostawcy uzyskali 96% przychodów z warstwy modeli na OpenRouter w okresie od maja do września 2025 roku, według Linux Foundation. "Postrzegamy decyzję o płaceniu za zamknięte [modele] jako zależną od obciążenia, a nie od organizacji" – powiedział Ars Technica w e-mailu Raffi Krikorian, CTO Mozilla, cytowany w raporcie Tom's Hardware.

Czego nie uwzględnia czteromiesięczny odstęp

Dwa zastrzeżenia znajdują się w samym raporcie. Odstęp czterech miesięcy i cena tokenów na poziomie 30% są mierzone API do API na hostowanych endpointach, w cenie katalogowej. Własna tablica sprzętowa raportu umieszcza najlepszy otwarty model mieszczący się na jednym serwerze na 52,6 punktu, a najlepszy na jednej karcie GPU na 40, co oznacza spadek o 10 i 23 punkty od czołówki. To szerszy odstęp niż cztery miesiące.

Wymagania hostingowe to praktyczna wersja tego samego problemu. Natywny checkpoint MXFP4 Kimi K3 zajmuje około 1,56 TB w 96 fragmentach, a konfiguracja hostingowa Mozilla wymienia 64 lub więcej akceleratorów, podczas gdy vLLM wymaga co najmniej ośmiu GPU GB300, z wieloma węzłami dla ruchu produkcyjnego. Raport opisuje to jako otwarte, ale niedostępne do uruchomienia dla większości posiadaczy. Tom's Hardware oszacował potrzebę pamięci na blisko 1,5 TB w lipcu. Jednym wyjątkiem wymienionym w raporcie jest Inkling-Small od Thinking Machines, na licencji Apache 2.0, którego wersja NVFP4 mieści się na jednym B300 przy progu 180 GB.

Dane raportu kończą się 1 września, a tablice się zmieniły.

Artificial Analysis przesunęło swój indeks do v4.3 z innym zestawem ewaluacyjnym; aktualna tablica pokazuje Claude Fable 5.1 na 53 przy najwyższym ustawieniu wysiłku, a Kimi K3 na 44, co nie jest porównywalne z wartościami z v4.1.1 wykresowanymi przez Mozilla. Tablica Terminal-Bench 2.1 z vals.ai, zaktualizowana 11 września, jest teraz liderowana przez GPT-6 Astra z wynikiem 87,27%, a Fable 5.1 ma 85,02%. Podpis wykresu Mozilla brzmi: "odstęp resetuje się przy każdym cyklu wydawniczym". K3 jest też obciążony zarzutem opisanym w wspólnym doradztwie NSA/CISA/FBI z 8 września (AA26-251A). Twierdzenie, które raport Mozilla przedstawia jako "stwierdzone, ale nieudowodnione", głosi, że Moonshot wyekstrahował dane Claude Fable 5 do trenowania K3 przez destylację, czyli praktykę trenowania jednego modelu na wyjściach innego.

Spór o nazewnictwo pod sporem o benchmarki

Open Source Initiative wykorzystał ten sam cykl informacyjny, by dyskutować o słownictwie. W poście z 19 września OSI napisało, że otwarte wagi pozwalają korzystać z niektórych z czterech wolności oprogramowania, wolności użycia, studiowania, modyfikowania i udostępniania bez pytania właściciela praw, ale nie ze wszystkich i tylko w pewnym stopniu.

Interpretacja OSI: model AI ma trzy główne składniki, dane treningowe, wagi i parametry oraz kod do przygotowania danych i trenowania. Wydania otwarto-wagowe dostarczają wagi, co pozwala uruchamiać model lokalnie, płacić trzeciej stronie za hosting lub fine-tune na własnych danych. Nie dostarczają pozostałych składników. Bez kodu i danych treningowych lub opisu, jak dane zostały zbudowane, OSI twierdzi, że nie można w pełni zbadać modelu, by odpowiedzieć, dlaczego wyprodukował dane wyjście i czy można mu ufać. Post cytuje Olmo od Ai2 jako przykład dużego modelu językowego, którego pełny zestaw danych treningowych i checkpointy pozwalają badaczom studium, jak model zapamiętuje lub zapomina wstrzyknięte informacje.

Rozróżnienie to nie jest akademickie dla nikogo, kto czyta liczby Mozilla jako przewodnik zakupowy. Raport Mozilla liczy 16 godnych uwagi otwartych wydań, ale zauważa, że żadne nie dostarcza receptury danych wymaganej przez definicję Open Source Initiative. Mozilla jest też orędownikiem otwartych modeli: TIME 14 lipca poinformowało, że Krikorian opisał raport jako częściowo aktywistyczny. Raport opiera się na ankiecie Mozilla/SlashData wśród około 1 400 deweloperów, danych o ruchu OpenRouter i zewnętrznych indeksach benchmarków.

Nic z tych dokumentów nie rozstrzyga, czy tańsze, nieco opóźnione wagi wystarczą dla obciążeń, które ludzie faktycznie uruchamiają. Podział przychodów mówi, że większość kupujących wciąż płaci za zamknięte. Podział wolumenu tokenów mówi, że większość ruchu jest już otwarta. Oba mogą być prawdziwe jednocześnie, a czteromiesięczna liczba nie rozstrzyga między nimi.