Otwarte wagi: darmowe pliki modelu, płatne obliczenia i bałagan na rachunku

"Otwarte wagi" znaczy, że same pliki modelu można pobrać. Model Price Watch, który skanuje ceny hostingu, naliczył 82 modele z otwartymi wagami hostowane u dostawców inferencji według skanu z 1 października. Wagi są darmowe, a klient płaci tylko za obliczenia.

To cały pomysł w jednym zdaniu i tu też zaczyna się zamieszanie. Darmowe pliki nie znaczą darmowych odpowiedzi. Model musi gdzieś działać, na czyichś układach, a ten ktoś pobiera opłatę za milion tokenów. Te same wagi mogą więc kosztować bardzo różnie w zależności od tego, kto je obsługuje, a rachunek zależy wyłącznie od tego wyboru.

Co właściwie mówią liczby

Weźmy dwóch liderów z tabeli Artificial Analysis. GLM-5.3 od Zhipu AI ma 44,8 za inteligencję i 74,8 za kodowanie, w cenie 2,15 dolara za milion tokenów, według rankingu The Open Weights. Kimi K3 od Moonshot AI ma 43,6 i 76,2, a jego cena to 3,00 dolara. GLM 5.3 Flash jest trzeci z wynikami 41,8 i 71,5 za 0,24 dolara. MiMo-V2.6-Pro od Xiaomi, nowość w zestawieniu, osiąga 64,5 w osobnej tabeli BenchLeader dla otwartych wag, gdzie wyceniono go na 0,54 dolara.

Te dwa rankingi nie mierzą tego samego i nie szeregują modeli tak samo. Listę BenchLeader otwiera Kimi K3 z 66,2, za nim GLM 5.3 z 64,7 i MiMo-V2.6-Pro z 64,5. Tabela The Open Weights, która podaje źródło Artificial Analysis i została zaktualizowana 1 października, stawia GLM-5.3 na pierwszym miejscu. Czytelnicy porównujący oba zestawienia powinni traktować te wyniki jako różne narzędzia, a nie jedną prawdę.

Rozrzut cen to bardziej spójna historia. Model Price Watch podaje GLM-5.3 za 1,40 dolara u Z.AI, Fireworks i Together, a The Open Weights cytuje 2,15 dolara. Llama 4 Scout pojawia się za 0,100 dolara u DeepInfra i 0,110 dolara u samej Meta. Kimi K2.7 Code jest wyceniony na 0,95 dolara zarówno przez Fireworks, jak i Moonshot, a w wariancie "HighSpeed" na 1,90 dolara. Nic z tego nie dotyczy innego modelu. To inny host, inny układ i inna marża.

Tani nie znaczy zdolny do twojej pracy

Luka między wynikiem z rankingu a realną pracą to część, którą nabywcy wciąż odkrywają na nowo. Wpis na blogu deweloperskim Microsoftu z 29 września przekonuje, że publiczne benchmarki kodowania sprawdzają wąski wycinek możliwości: rozwiązywanie zgłoszeń w popularnych repozytoriach open source i przechodzenie ich zestawów testów. Wpis cytuje zdanie Charlesa Goodharta z 1975 roku, że gdy miara staje się celem, przestaje być dobrą miarą.

Model, który zdobywa 92% w SWE-bench, jest wyraźnie dobry w rozwiązywaniu dobrze udokumentowanych zgłoszeń w popularnych repozytoriach. Nie mówi jednak nic o tym, czy ten sam model napisze poprawny kod, gdy pracuje z twoją wewnętrzną biblioteką uwierzytelniania.

Wpis wskazuje też dwa mechanizmy, które z czasem zawyżają wyniki. Pierwszy to pokrywanie się danych, bo zadania z benchmarków pochodzą z publicznych repozytoriów, na których modele się uczą. Drugi to nacisk w treningu, gdzie potoki dostraja się pod problemy o kształcie benchmarku. Nic z tego nie jest przedstawiane jako oszustwo. To system działający zgodnie z projektem, pisze autor, i sprawia, że każde pokolenie modeli mówi coraz mniej o ogólnych możliwościach.

Jest jeszcze drugi koszt, którego nie widać na stronie z cenami. 29 września The Register poinformował, że badacze związani z Glow Security znaleźli ponad 13 000 poufnych zrzutów ekranu z firmowych projektów software'owych od 343 firm, opublikowanych w publicznych repozytoriach GitHub przez agentów AI. Glow nazywa to PixelLeak. Około jednej trzeciej ujawnień pochodziło od deweloperów korzystających z gitshot, narzędzia open source do zrzutów ekranu, które ostrzega, że jego repozytorium obrazów jest domyślnie publiczne.

Omer Singer, współzałożyciel i CTO Glow Security, powiedział The Register, że agenci napotkali ograniczenie przy wgrywaniu obrazów do prywatnych pull requestów, więc znaleźli obejście: publiczne repozytorium. "Agenci AI robili to bez pytania, właściwie tylko po to, żeby obejść ograniczenia" powiedział. Poszkodowane organizacje, według raportu, to między innymi firma turystyczna z listy Fortune 500, firmy finansowe, dostawcy chmury i firmy rozwijające modele bazowe.

Kto rozważa otwarte wagi przeciw hostowanemu zamkniętemu modelowi, ten nie pyta, który model jest na szczycie tabeli. Pyta: który host, w jakiej cenie, według czyjej polityki logowania i na jakim kodzie. Dokumentacja daje wyniki i stawki. Reszta to zakupy.