Otwarte wagi doganiają modele frontierowe, ale etykieta robi zbyt wiele
Raport Mozilli State of Open Source AI, opublikowany 15 września na danych aktualnych do 1 września, umieszcza najlepsze modele z otwartymi wagami około 4,4 miesiąca za zamkniętą czołówką. Osobny wpis OSI przekonuje, że ta luka to zły przedmiot pomiaru.

Mozilla opublikowała wersję 1.1 raportu State of Open Source AI 15 września, na danych aktualnych do 1 września. Tom's Hardware napisał 16 września, że najlepszy otwarty model tracił do zamkniętego lidera trzy punkty w Artificial Analysis Intelligence Index, przy 60% ceny, a do Claude Fable 5 dwa punkty przy 30%. Dopasowanie Mozilli do danych METR o horyzoncie zadań daje lukę otwarte-zamknięte około 4,4 miesiąca. To zgadza się z czteromiesięcznym szacunkiem Epoch AI.
Metodologia ma znaczenie, bo liczba z nagłówka podróżuje dalej niż jej zastrzeżenia.
METR ocenia modele po długości zadania, mierzonej czasem pracy człowieka, które wykonują z powodzeniem w połowie przypadków. Według dopasowanego szacunku Mozilli modele zamknięte radzą sobie z zadaniami zajmującymi ekspertom od 8 do 12 godzin. Otwarte dochodzą do tego około cztery miesiące później, a ich możliwości podwajają się co 3,9 miesiąca wobec 5,5 miesiąca dla zamkniętych, według obliczeń Mozilli. Raport przedstawił też wyniki Terminal-Bench 2.1 od vals.ai, gdzie każdy model przechodzi przez ten sam harness, warstwę oprogramowania udostępniającą modelowi jego narzędzia.
Na tej tablicy GLM-5.2 od Z.ai zdobył wynik w granicach punktu od Claude Opus 4.7 i około czterech punktów za Opus 4.8, przy koszcie poniżej jednej piątej na test. Na OpenRouterze, rynku kierującym ruch deweloperów do setek modeli, Mozilla naliczyła osiem z dziesięciu czołowych modeli według wolumenu tokenów w sierpniu jako otwarte wagi, siedem z nich zbudowanych w Chinach.
Potem pieniądze.
Zamknięci dostawcy wzięli 96% przychodów warstwy modeli na OpenRouterze od maja do września 2025, według Linux Foundation. "Decyzję o płaceniu za zamknięte [modele] postrzegamy jako zależną od obciążenia, a nie od organizacji", powiedział Raffi Krikorian, dyrektor techniczny Mozilli, w mailu do Ars Technica, cytowanym w relacji Tom's Hardware.
Czego liczba czterech miesięcy nie obejmuje
W samym raporcie siedzą dwa zastrzeżenia. Luka czterech miesięcy i liczba 30% ceny tokenów są mierzone API do API na hostowanych endpointach, po cenie katalogowej. Własny wykres sprzętowy raportu umieszcza najlepszy otwarty model mieszczący się na jednym serwerze na 52,6 w indeksie, a najlepszy na jednej GPU na 40, co oznacza spadki o 10 i 23 punkty od szczytu. To szersza luka niż cztery miesiące.
Wymagania serwowania to praktyczna wersja tego samego problemu. Rodzimy checkpoint MXFP4 modelu Kimi K3 zajmuje około 1,56TB w 96 shardach, a konfiguracja serwowania Mozilli wymienia 64 lub więcej akceleratorów, podczas gdy vLLM wymaga co najmniej ośmiu GPU GB300, z wieloma węzłami dla ruchu produkcyjnego. Raport opisuje to jako otwarte, ale nie do uruchomienia przez większość tych, którzy to mają. Tom's Hardware szacował w lipcu zapotrzebowanie na pamięć na blisko 1,5TB. Jeden wyjątek wymieniony w raporcie to Inkling-Small od Thinking Machines na licencji Apache 2.0, którego wersja NVFP4 mieści się na jednym B300 przy dolnej granicy 180GB.
Dane raportu kończą się 1 września, a tablice ruszyły się od tego czasu.
Artificial Analysis przeniosło swój indeks na v4.3 z innym zestawem ewaluacyjnym; bieżąca tablica ma Claude Fable 5.1 na 53 przy najwyższym ustawieniu wysiłku, z Kimi K3 na 44, czyli liczby nieporównywalne z wartościami v4.1.1, które naniosła Mozilla. Tablica Terminal-Bench 2.1 od vals.ai, zaktualizowana 11 września, ma teraz na czele GPT-6 Astra z 87,27%, a Fable 5.1 z 85,02%. Podpis pod własnym wykresem Mozilli brzmi: "luka resetuje się w każdym cyklu wydawniczym". K3 wiąże się też z zarzutem opisanym w wspólnym biuletynie NSA/CISA/FBI z 8 września (AA26-251A). Twierdzenie, które raport Mozilli podaje jako "zgłoszone i niewykazane", mówi, że Moonshot wyciągnął dane Claude Fable 5 do trenowania K3 przez destylację, czyli trenowanie jednego modelu na wynikach drugiego.
Spór o nazwy pod sporem o benchmarki
Open Source Initiative wykorzystała ten sam cykl informacyjny, by spierać się o słownictwo. W wpisie z 19 września OSI napisała, że otwarte wagi pozwalają korzystać z części czterech wolności oprogramowania, wolności używania, badania, modyfikowania i udostępniania bez pytania właściciela praw, ale nie ze wszystkich i tylko w pewnym stopniu.
Ujęcie OSI: model AI ma trzy główne składniki, dane treningowe, wagi i parametry oraz kod do przygotowania danych i treningu. Wydania z otwartymi wagami dostarczają wagi, co pozwala uruchomić model lokalnie, zapłacić stronie trzeciej za hosting albo dostroić go na własnych danych. Nie dostarczają pozostałych składników. Bez kodu i danych treningowych lub opisu, jak dane powstały, OSI przekonuje, że nie można w pełni zbadać modelu, by odpowiedzieć, dlaczego dał taki wynik albo czy temu wynikowi można zaufać. Wpis cytuje Olmo od Ai2 jako przykład dużego modelu językowego, którego pełny zbiór danych treningowych i checkpointy pozwalają badaczom studiować, jak model zapamiętuje lub zapomina wstrzyknięte informacje.
To rozróżnienie nie jest akademickie dla każdego, kto czyta liczby Mozilli jako poradnik zakupowy. Raport Mozilli liczy 16 znaczących otwartych wydań, ale zauważa, że żadne nie dostarcza recepty danych wymaganej przez definicję Open Source Initiative. Mozilla jest też rzecznikiem otwartych modeli: TIME podał 14 lipca, że Krikorian opisał raport jako częściowo rzeczniczy. Raport opiera się na badaniu Mozilla/SlashData na około 1 400 deweloperach, danych o ruchu z OpenRoutera i zewnętrznych indeksach benchmarków.
Żaden z tych dokumentów nie rozstrzyga, czy tańsze, nieco opóźnione wagi wystarczą do obciążeń, które ludzie naprawdę uruchamiają. Podział przychodów mówi, że większość kupujących wciąż płaci za zamknięte. Podział wolumenu tokenów mówi, że większość ruchu jest już otwarta. Jedno i drugie może być prawdą naraz, a liczba czterech miesięcy nie rozstrzyga między nimi.
Źródła
2- 01China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
- 02Open Weights Are Good. Open Source Is Better.EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.