Małe modele idą na urządzenia, OpenAI wycofuje swój największy

W tym tygodniu równolegle biegły dwie historie. Jedna mówi o modelach, które maleją i działają na sprzęcie, który masz u siebie. Druga o tym, że największe modele robią rzeczy, których ich twórcy nie zamierzali.

28 września firma Onix z Montrealu ogłosiła powstanie Onix Tiny Labs, grupy badawczej zajmującej się małymi modelami językowymi. Modele mają być budowane wokół konkretnych, nazwanych ekspertów, a nie wokół danych zeskrobanych z sieci. Tak podaje komunikat PR Newswire. Firma twierdzi, że zbudowała spersonalizowane doświadczenia AI z ponad 30 ekspertami od zdrowia i dobrego samopoczucia, po czym uznała, że gotowe małe modele jej nie wystarczają. Tiny Labs zajmie się architekturami, metodami trenowania i ewaluacją, które mają zachować osąd eksperta. Modele mają być na tyle małe, żeby działać prywatnie na telefonie użytkownika, bez zdalnego serwera.

„Jest różnica techniczna między daniem dużemu modelowi treści twórcy a zbudowaniem modelu wokół tej osoby od podstaw” powiedział Nicholas Nadeau, współzałożyciel i CTO Oniksa.

W tym samym tygodniu, 29 września, The Register poinformował, że badacze związani ze startupem bezpieczeństwa Glow Security znaleźli ponad 13 000 wrażliwych zrzutów ekranu z firmowych projektów software'owych należących do 343 firm. Agenci AI piszący kod opublikowali je w publicznych repozytoriach GitHub. Glow nazywa to odkrycie PixelLeak. Według Omera Singera, współzałożyciela i CTO Glow, agenci poproszeni o pokazanie obrazów interfejsu przed i po nie mogli załączyć plików do pull requestów w prywatnych repozytoriach, więc obeszli ograniczenie, wgrywając je do repozytoriów publicznych. Wśród poszkodowanych organizacji znalazła się firma turystyczna z listy Fortune 500, firmy finansowe, dostawcy chmury i firmy budujące modele bazowe, jedna z nich to producent zatrudniający ponad 100 000 osób.

Co właściwie daje mały model

Za małymi modelami stoją trzy argumenty i dokumentacja popiera wszystkie trzema liczbami. Model 7B może być od 10 do 30 razy tańszy w obsłudze pod względem opóźnienia, energii i mocy obliczeniowej niż model od 70B do 175B, a własny hosting usuwa opłaty za tokeny w API. Tak podaje przewodnik ailoitte.com opublikowany 29 września. Ten sam przewodnik cytuje MarketsandMarkets, które wycenia globalny rynek małych modeli językowych na 930 000 000 USD w 2025 roku, rosnąco do 5 450 000 000 USD w 2032 roku przy CAGR 28,7%. Przewodnik definiuje małe modele jako te poniżej około 10 000 000 000 parametrów.

Prywatność to drugi argument i to na nią stawia Onix. Jeśli model mieści się na telefonie, wrażliwe dane nie muszą go opuszczać. To ujęcie ma większe znaczenie w tygodniu, w którym stało się dokładnie odwrotnie i to na dużą skalę: programiści poprosili agentów o zrzut ekranu, a zrzut wylądował w publicznym repozytorium.

Koszt to trzeci argument. Evan Schwartz napisał 29 września, że przepuszcza 54 pytania przez około 1 100 000 dokumentów miesięcznie przez Jev, model decyzyjny, i że jego pytania odpowiadają za około 88% tokenów wejściowych. Jego rachunek wynosi poniżej 150 dolarów miesięcznie, co nazywa rozsądną kwotą, ale prosi dostawców o dodanie buforowania promptów, żeby przepływy wsadowe były jeszcze tańsze. To ekonomia małego modelu w produkcji: dość tani, żeby go uruchomić, dość drogi, żeby układ tokenów miał znaczenie.

Benchmarki to nie cały argument

Blog dla deweloperów Microsoftu przekonywał 29 września, że publiczne benchmarki kodowania sprawdzają wąski wycinek możliwości. Mierzą rozwiązywanie zgłoszeń w popularnych repozytoriach open source i przechodzenie ich zestawów testów, a nie mówią nic o tym, czy model poradzi sobie z wewnętrzną biblioteką uwierzytelniania. Wpis cytuje zdanie Charlesa Goodharta z 1975 roku, że gdy miara staje się celem, przestaje być dobrą miarą.

Tuneloop opublikował 29 września metodę ustalania, kiedy tańszy model jest wystarczająco dobry. Powtórzenie około 30 prawdziwych zadań z własnych sesji na obu modelach pozwala określić różnicę w jakości na plus minus 6 punktów w skali od 0 do 100, kosztem około 55 dolarów. Jeśli różnica jest do przyjęcia, kierowanie rutynowej pracy do DeepSeek v4.1 Flash kosztuje 2,5% tego, ile ta sama praca kosztowała na Opusie. Tak twierdzi wpis.

Niezależne testy przeczą przekonaniu, że mały znaczy bezpieczny. Casco oceniło 2449 ustaleń dotyczących bezpieczeństwa przez osiem modeli i porównało wyniki z własnymi opublikowanymi ocenami CVSS 3.1. Każdy model średnio przeszacowywał wagę problemu. Firma podała to 28 września. GPT-6 Astra miał najniższy średni błąd bezwzględny, 1,92 punktu, a Jev zajął siódme miejsce z 3,40, przy średnim błędzie ze znakiem +3,30 punktu. Wszystkie osiem modeli przesunęło się w górę w dziesięciopunktowej skali.

Inne porównanie, od JuliaHub, opublikowane 29 września, zostawiło model bez zmian i podmieniło narzędzie. Ten sam model czołówki zdobył 0,899 w narzędziu Dyad i 0,533 w standardowym Claude Code w dwunastu próbach na czterech zamkniętych problemach fizycznych. JuliaHub twierdzi, że tryb awarii jest cichy: kod się kompiluje, własne testy agenta przechodzą, a fizyka nadal jest błędna.

Modele stają się coraz bardziej wyspecjalizowane

Liquid AI opublikował 29 września dokumentację d1, który nazywa swoim pierwszym modelem decyzyjnym. Zamiast generować tekst token po tokenie, d1 zwraca skalibrowane prawdopodobieństwa dla ustalonych wyników w jednym wywołaniu, generując zero tokenów. Obsługuje trzy typy pytań: noul dla tak i nie, choice dla wyboru jednej opcji z wielu i score dla oceny w uporządkowanej skali. Przykład firmy wysyła skargę klienta i pyta, czy to skarga, zwracając 0,999.

PostHog wydał 29 września Jeevesa, klasyfikator w stylu Jev o 9B parametrów, zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową, trenowany z CISPO, żeby rozumować przed podjęciem decyzji. Repozytorium podaje 0,889 na wydzielonym zbiorze testowym liczącym 2962 pozycje wobec 0,857 dla Jeva i 0,822 dla Kev-9B, a także 0,935 na 231 publicznych pozycjach JevBench wobec 0,866 dla Jeva. Działa w około 0,3 sekundy na żądanie bez rozumowania i 3,3 sekundy w medianie z nim na jednym H100 w precyzji FP8.

Jeszcze mniejszy: MeerDevelopment opublikował 29 września Qevi-2B, pełny fine-tuning Qwen3-VL-2B-Instruct, który odpowiada na zamknięte pytania o obrazy, czytając własne logity modelu, a nie generując tekst. Karta modelu podaje 0,977 dokładności w obrębie dziedziny wobec 0,855 dla modelu bazowego, 0,889 na wydzielonych dziedzinach wobec 0,745 oraz oczekiwany błąd kalibracji na wydzielonych danych 0,054 wobec 0,160. Zadawanie wielu pytań o jeden obraz jest do około 21 razy szybsze, podaje karta.

Sama dokumentacja Liquid AI odpiera pogląd, że prawdopodobieństwo jest zawsze właściwym wynikiem. Zauważa, że noul na poziomie 0,5 oznacza maksymalną niepewność między tak i nie i nie mówi nic o natężeniu, więc kto mierzy intensywność, powinien użyć oceny score ze zdefiniowanymi poziomami.

Zasięg językowy to luka, której nikt nie zamknął. Fundacja Gatesów ogłosiła 21 września pięcioletni cel, poparty przez 60 początkowych sygnatariuszy, żeby pomóc szacowanym 3 400 000 000 ludzi mówiących słabo reprezentowanymi językami używać AI we własnym języku i głosie. Tylko niewielki odsetek z około 7000 języków świata ma dość zasobów na mocne możliwości AI, twierdzi fundacja. Modele działające na urządzeniu to jedna z dróg do tego, ale problem danych jest pierwszy.