Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Otwarte wagi doganiają czołówkę, ale przewaga resetuje się z każdym wydaniem

Raport Mozilli „State of Open Source AI”, opublikowany 15 września na podstawie danych aktualnych do 1 września, umieszcza chińskie modele z otwartymi wagami około 4,4 miesiąca za czołówką z USA. Wykres sprzętowy w tym samym raporcie pokazuje lukę szerszą niż ten nagłówkowy wynik, a jego podpis przyznaje, że dystans resetuje się z każdym wydaniem.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 28 września 20267 min czytaniaŹródła 5
Otwarte wagi doganiają czołówkę, ale przewaga resetuje się z każdym wydaniem

Raport to wersja 1.1 cyklicznej oceny, którą Mozilla opublikowała po raz pierwszy na swoim blogu 14 lipca. Według Tom's Hardware powstał na podstawie ankiety Mozilli i SlashData wśród około 1 400 deweloperów, danych o ruchu z OpenRouter i zewnętrznych indeksów benchmarków. Mozilla jest organizacją non-profit promującą otwarte modele, a TIME podał 14 lipca, że CTO Mozilli Raffi Krikorian określił raport jako częściowo rzeczniczy. To zastrzeżenie ma znaczenie przy czytaniu liczb.

Główna teza Mozilli brzmi: najlepszy otwarty model tracił do zamkniętego lidera trzy punkty na Artificial Analysis Intelligence Index, przy 60% ceny, i był dwa punkty za Claude Fable 5 przy 30% ceny. Dopasowując dane METR o horyzoncie zadań, Mozilla szacuje lukę otwarte-zamknięte na około 4,4 miesiąca, zgodnie z czteromiesięcznym szacunkiem Epoch AI. METR to organizacja badawcza non-profit, która ocenia modele po długości zadania, w ludzkim czasie pracy, jakie kończą w połowie przypadków.

Co właściwie mierzy cztery miesiące

Według dopasowanego szacunku Mozilli zamknięte modele radzą sobie z zadaniami, których wykonanie zajmuje ekspertom od 8 do 12 godzin. Otwarte modele osiągają ten poziom około czterech miesięcy później. Mozilla oblicza, że możliwości otwartych modeli podwajają się co 3,9 miesiąca, a zamkniętych co 5,5 miesiąca. Na Terminal-Bench 2.1 od vals.ai, gdzie każdy model przechodzi przez ten sam zestaw testowy, GLM-5.2 od Z.ai zdobył wynik w granicach punktu od Claude Opus 4.7 i około czterech punktów za Opus 4.8, przy koszcie poniżej jednej piątej na test.

„Decyzję o płaceniu za zamknięte [modele] postrzegamy jako zależną od obciążenia, a nie od organizacji" – powiedział Krikorian w mailu do Ars Technica.

Wdrożenia po stronie deweloperów wyglądają inaczej niż przychody. Na OpenRouter, rynku kierującym ruch do setek modeli, Mozilla naliczyła osiem z dziesięciu najpopularniejszych modeli według wolumenu tokenów do sierpnia jako modele z otwartymi wagami, siedem z nich zbudowanych w Chinach. Zamknięci dostawcy przejęli jednak 96% przychodów na poziomie modeli na OpenRouter od maja do września 2025 roku, według Linux Foundation. Darmowe lub tanie tokeny i płatne przychody to nie ten sam rynek.

Mozilla liczy 16 znaczących otwartych wydań, ale żadne nie dostarcza receptury danych wymaganej przez definicję Open Source Initiative. Ta różnica to cały argument wpisu OSI z 19 września zatytułowanego „Open Weights Are Good. Open Source Is Better.” Otwarte wagi, pisze OSI, pozwalają uruchomić model lokalnie, zapłacić stronie trzeciej za hosting albo dostroić go na własnych danych. Nie pozwalają jednak w pełni go zbadać, bo kod i dane treningowe lub szczegółowy opis ich powstania nie są częścią wydania.

Zastrzeżenie sprzętowe

Liczbę 4,4 miesiąca i cenę 30% tokenów mierzono API do API na hostowanych endpointach według ceny katalogowej. Własny wykres sprzętowy Mozilli opowiada ostrzejszą historię. Najlepszy otwarty model mieszczący się na jednym serwerze ma wynik 52,6; najlepszy mieszczący się na jednym GPU ma 40. Spadek od szczytu wynosi odpowiednio 10 i 23 punkty, czyli lukę większą, niż sugerują cztery miesiące.

Natywny checkpoint MXFP4 modelu Kimi K3 zajmuje około 1,56 TB w 96 shardach, podaje raport. Konfiguracja serwowania Mozilli wymienia 64 lub więcej akceleratorów, a vLLM wymaga co najmniej ośmiu GPU GB300, przy czym ruch produkcyjny potrzebuje wielu węzłów. Tom's Hardware w lipcu oszacował zapotrzebowanie na pamięć na blisko 1,5 TB. Raport opisuje to jako otwarte, ale nieroztłaczalne dla większości tych, którzy je mają. Jeden wyjątek, który wymienia, to Inkling-Small od Thinking Machines, na licencji Apache 2.0, którego wersja NVFP4 mieści się na jednym B300 przy progu 180 GB.

Jest też problem z czasem. Dane raportu kończą się 1 września. Od tamtej pory Artificial Analysis przeniosło swój indeks na wersję v4.3 z innym zestawem ewaluacyjnym. W tabeli na żywo Claude Fable 5.1 ma 53 punkty przy najwyższym ustawieniu wysiłku, a Kimi K3 ma 44; to liczby, których Mozilla nie naniosła i których nie da się porównać z wartościami z wersji v4.1.1, których użyła. Tabela Terminal-Bench 2.1 od vals.ai, zaktualizowana 11 września, ma teraz na czele GPT-6 Astra z 87,27%, a Fable 5.1 z 85,02%. Podpis pod wykresem Mozilli brzmi: „luka resetuje się z każdym cyklem wydań”.

Z K3 wiąże się też zarzut opisany we wspólnym ostrzeżeniu NSA, CISA i FBI AA26-251A z 8 września. Twierdzenie, które raport Mozilli podaje jako „zgłoszone, ale nieudowodnione”, mówi, że Moonshot wyciągnął dane Claude Fable 5 do trenowania K3 przez destylację, czyli trenowanie jednego modelu na wynikach drugiego. 17 lipca Artificial Analysis dawało K3 57 punktów przy 60 Fable 5; 1 września Mozilla miała go dwa punkty z tyłu.

Małe modele do wąskich zadań

Nie każde wydanie z otwartymi wagami goni czołówkę. S1-mini od Superwhisper, opublikowany na Hugging Face, to normalizator tekstu o 0,6 mld parametrów dla wyników rozpoznawania mowy. Bierze surowy transkrypt ASR i przepisuje go jako tekst pisany: usuwa wtrącenia, rozwiązuje falstarty i autokorekty, stosuje interpunkcję i wielkie litery, a liczby, daty, godziny, waluty i adresy e-mail zapisuje w formie pisanej. Na wydzielonym zbiorze 7 519 angielskich przypadków osiąga 94,8% dokładności tokenów, a skwantyzowana wersja to plik 462 MiB, który działa na procesorze laptopa.

Karta modelu jest niezwykle bezpośrednia co do tego, czym model nie jest. S1-mini nie jest modelem czatu i nie będzie wykonywać ogólnych poleceń. Jest dostrojony z Qwen/Qwen3-0.6B i oczekuje na początku wejścia linii sterującej określającej styl, strukturę i kontekst. Pomiń prompt systemowy, zmień jego brzmienie albo wyślij wartości spoza zbiorów treningowych, ostrzega karta, a model może halucynować lub dawać zniekształcony wynik. Obsługuje tylko angielski, licencja Apache 2.0 plus klauzula o nazwie. Panel na Hubie podaje 0,8 mld parametrów, ale karta wyjaśnia, że plik model.safetensors przechowuje lm_head.weight jako zmaterializowaną kopię osadzenia wejściowego, licząc osadzenie o 155,6 mln parametrów dwa razy: 751,6 mln elementów tensorów wobec 596,0 mln unikalnych parametrów. Układ pochodzi z Qwen3-0.6B, który z tego samego powodu podaje 0,8 mld.

Podobny wzorzec widać w opisie wdrożenia Jamesa Cruce'a z 22 września. Wybrał Laya, model decyzyjny z otwartymi wagami o 421 mln parametrów, zamiast hostowanego Jev od TypeSafe do małych, ograniczonych wyborów, których dokonują jego agenci kodujący. Checkpoint convaiinnovations/laya-typed-decisions ma enkoder ModernBERT-large i limit 1 024 tokenów, a zwraca odpowiedzi typowane: wybór spośród nazwanych opcji, ocenę na uporządkowanej skali albo prawdopodobieństwo dla zdania tak/nie. Żadnych akapitów do parsowania. Jev to z kolei hostowana usługa z wczesnym dostępem w cenie 0,042 dolara za milion tokenów wejściowych bez opłaty za tokeny wyjściowe, a TypeSafe twierdzi, że obsługuje wybory do 255 opcji.

Powodem zmiany, który podaje Cruce, nie był koszt. Chciał, żeby rutynowe decyzje działały na jego Mac Studio, a lokalne dane zostawały lokalnie, i chciał kontroli nad dokładnym modelem, dozwolonymi opcjami i zachowaniem przy błędzie. Nie liczył progu rentowności i mówi, że nie ma żadnej liczby oszczędności do podania. Wskazuje też ograniczenia: wydawca trenował Laya na czterech syntetycznych przepływach pracy, a routing modeli nie jest jednym z nich, więc wynik to jedno wdrożenie na M3 Ultra z 256 GB pamięci zunifikowanej, a nie ogólny werdykt o Laya przeciw Jev. Karta modelu ostrzega, że model jest nadmiernie pewny siebie i wymaga kalibracji w danej dziedzinie. „Typowana odpowiedź może być strukturalnie doskonała i faktycznie błędna” – pisze.

Obraz prawny wokół wag jest równie nieustalony. Praca A. Feder Cooper, Marka A. Lemleya i współautorów, po raz pierwszy złożona 18 maja 2025 roku i poprawiana do 20 lipca 2026 roku, zmierzyła zapamiętywanie na 200 książkach i 14 modelach z otwartymi wagami w ponad 3 000 eksperymentów. Jej wynik podważa obie strony sporów o prawa autorskie. Większość modeli nie zapamiętuje większości książek, w całości ani częściowo. Ale Llama 3.1 70B zapamiętuje całkowicie niektóre, w tym Harry'ego Pottera i Kamień Filozoficzny, do tego stopnia, że całą książkę można wyciągnąć niemal dosłownie, podając jako prompt kilka pierwszych słów. Autorzy piszą, że ich wyniki mają istotne znaczenie dla spraw o prawa autorskie, choć nie takie, które jednoznacznie faworyzuje którąkolwiek stronę.

Nic z tego nie rozstrzyga, czy otwarte wagi wygrają. Wskaźniki, które wyglądają najlepiej dla otwartości, cena za token i udział w kierowanym ruchu, stoją obok wskaźników, które wyglądają gorzej: możliwości na jednym serwerze i jednym GPU oraz udział w przychodach. Podpis Mozilli jest uczciwym podsumowaniem: luka resetuje się z każdym cyklem wydań.

Komentarze 0

Źródła

5
  1. 01China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
  2. 02Open Weights Are Good. Open Source Is Better.EN
  3. 03S1-mini, Superwhisper's first open-weights language modelEN
  4. 04Does an open-weight decision model beat a hosted one? Jev vs. LayaEN
  5. 05Extracting memorized pieces of (copyrighted) books from open-weight language modelsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.