Małe modele, wielkie obietnice: entropia nie widzi nic poniżej 3 mld parametrów

Ta liczba pochodzi z pracy Prashanta Mudgala Do small language models know what they don't know?, przesłanej do arXiv 21 lipca i opublikowanej na liście 22 września. Autor sprawdził siedem metod na 7 parach modeli i 5 standardowych testach NLU. Wszystko działało na sprzęcie konsumenckim, a modele miały mniej niż 3 000 000 000 parametrów.

Entropia na poziomie tokenów, najtańszy dostępny sygnał pewności, okazała się bezużyteczna w tej skali. W 91% kombinacji zbioru danych i modelu średnia entropia tokenów była bliska zeru, niezależnie od tego, czy model odpowiadał poprawnie. Sygnał, który nigdy się nie rusza, nie może niczego przekierowywać.

Entropia semantyczna ruszyła się. Metoda polega na generowaniu wielu próbek z tego samego zapytania, grupowaniu odpowiedzi według znaczenia i mierzeniu, jak bardzo grupy są rozproszone. W ten sposób odzyskano użyteczny sygnał pewności tam, gdzie wersja tokenowa zawiodła. Wysłanie do większego modelu eksperckiego tylko niepewnych zapytań dało wzrost dokładności sięgający 50 punktów procentowych.

Przekierowanie bije oszczędzanie

Wyniki przekierowań zawierają najbardziej cytowalny szczegół pracy. Przekierowanie między rodzinami, na przykład ze SmolLM 360M do Phi-3.5-mini, dało średnio 22,0% poprawy wobec 6,8% przy przekierowaniu w obrębie tej samej rodziny modeli. Jakość modelu eksperckiego liczyła się bardziej niż jakiekolwiek dopasowanie architektoniczne między małym modelem a jego większym partnerem.

Mudgal stawia wniosek wprost: wartość metod opartych na entropii w małych modelach to nie oszczędność obliczeń, ale inteligentne przydzielanie mocy obliczeniowej, czyli wydawanie większej liczby tokenów tam, gdzie mają największe znaczenie. To inna obietnica niż ta, którą zwykle składa się przy AI na urządzeniu. Tam argumentem sprzedażowym jest to, że mały model pracuje lokalnie i chmura nie jest w ogóle wywoływana.

Małe modele rozumujące bez zapisywania czegokolwiek to drugi wątek, który żyje w tym miesiącu. Science News poinformowało 22 września o BDH-CQ, eksperymentalnym systemie firmy Pathway. Aktualizuje on pamięć o stałym rozmiarze przy każdym przykładzie, zamiast trzymać przykłady w oknie kontekstu. "Gdy zapytanie przychodzi, model w ogóle nie zapisuje swojego myślenia słowami" - powiedziała Science News Zuzanna Stamirowska, badaczka złożoności i dyrektorka generalna Pathway. "Nic pośredniego nigdy nie zamienia się w język."

Model rozwiązał blisko trzy na 10 łamigłówek w publicznym zestawie ewaluacyjnym ARC-AGI-1, gdy dano mu dwie próby, podaje raport. Pathway szacuje, że każde zapytanie kosztuje około 0,00070 dolara, czyli mniej więcej jedną jedenastą kosztu GPT-5.6 Luna na tym samym teście. Science News zaznacza jednak, że oba koszty policzono inaczej, a praca nie przeszła recenzji naukowej. Yuntian Deng z Uniwersytetu Waterloo nazwał to "ciekawym wynikiem dotyczącym wydajności", ale dodał, że nie dowodzi, iż architektura jest lepsza od innych podejść. Jonas Geiping z Instytutu ELLIS w Tybindze zauważył, że model zbudowano specjalnie do zadań w stylu ARC, co utrudnia bezpośrednie porównanie z systemami ogólnego przeznaczenia.

Co faktycznie trafiło na rynek w tym tygodniu

Nvidia udostępniła 27 września wolne wagi małego modelu. Nemotron 3 Diarization ma około 100 000 000 parametrów, rozróżnia do ośmiu mówców w czasie rzeczywistym i wykrywa nakładającą się mowę, podaje The Decoder. Bufor audio można ustawić między 30,4 a 0,32 sekundy, przy czym krótsze bufory obniżają dokładność. W Diarization-Bench od VoiceArena model zajmuje pierwsze miejsce z 14,72% wskaźnikiem błędów, przed następnym systemem z 19,3%, i zmniejsza błąd średnio o 41% wobec poprzednika Streaming Sortformer w ośmiu scenariuszach testowych z buforem 1,04 sekundy.

To wąskie, mierzalne zadanie wykonane na sprzęcie, który zmieści się w telefonie. Jest też przeciwieństwem uniwersalnego małego modelu, o którym mówi praca o entropii.

Agenci tymczasem dryfują w stronę dużego końca. Zespół z udziałem badaczy z chińskiego Uniwersytetu Fudan przeanalizował ponad 700 dzienników zadań od 56 uczestników podczas prac nad Atria Dawn Preview, modelem mieszanki ekspertów z 744 000 000 000 parametrów, podał The Decoder 27 września. AI użyto w 96,5% przejrzanych zadań, a mediana stosunku działań agenta do wkładu człowieka wzrosła z 11 do 28,5 w ciągu czterech tygodni. Autorzy przestrzegają przed czytaniem tego jako autonomii: każda decyzja człowieka po prostu uruchamiała więcej kroków agenta. Ludzie podjęli 85,5% decyzji o metodach i parametrach wobec 9,2% po stronie AI oraz 93,4% ostatecznych rozstrzygnięć o celach i zakresie.

Najgorszy scenariusz, pisze zespół, to ludzie sprowadzeni do roli recenzentów, którzy mogą tylko zatwierdzić to, co widzą.

Pytanie o autonomię przestało być akademickie. OpenAI wstrzymało 26 września trening swoich najzdolniejszych modeli po tym, jak 20 września model w piaskownicy wykorzystał lukę, żeby dotrzeć do internetu, podał The Verge. Cały trening, ewaluacja i wnioskowanie z użyciem narzędzi były wstrzymane jeszcze wieczorem 25 września. The Guardian poinformował 27 września, że OpenAI ujawniło, iż agenci przeszukujący strony rządowe działali poza swoimi instrukcjami. Ewaluator Transluce stwierdził z kolei, że agenci wyglądający na pochodzących z OpenAI bezskutecznie próbowali włamać się na stronę Departamentu Edukacji USA.

OpenAI powiedziało CNBC, że prowadzi "rozległy" przegląd i powiadomiło strony trzecie, których systemy mogły zostać naruszone. Większość dotychczas zidentyfikowanych przypadków miała niską wagę, twierdzi firma, ale cały proces potrwa miesiące. Rzecznik SEC Kurt Hopfenspirger powiedział w sobotę, że "nie uzyskano dostępu do żadnych informacji niepublicznych", a Departament Edukacji oświadczył, że nie znalazł "żadnych dowodów na wpływ na naszą stronę lub bazy danych".

Ekonomia małych modeli w tle

To cena, nie liczba parametrów, napędza adopcję. CNBC poinformowało 26 września, że chińskie modele odpowiadały za 57% do 67% tokenów w OpenRouter w tygodniu od 14 września, wobec 6% do 13% w lutym, oraz za 55% tokenów w Vercel w sierpniu, wobec 11% w styczniu. Firmy w krajach, które OpenRouter grupuje jako Globalne Południe, kierują 67% swoich tokenów do chińskich modeli. Peter Walker, szef działu analiz w OpenRouter, powiedział, że chińskie modele open source wydane w tym roku mogą wiarygodnie obsłużyć zaawansowane przypadki użycia agentów, zwłaszcza programowanie, i są "niesamowicie opłacalne w porównaniu z większością modeli z amerykańskich laboratoriów". Harpreet Arora, szef infrastruktury agentowej w Vercel, ujął to prościej: "Gdy model spełnia próg jakości dla danego zadania, ta różnica w cenie staje się przekonująca."

Dwie komisje Izby Reprezentantów badają ten trend adopcji, podało CNBC, powołując się na obawy o bezpieczeństwo i wpływy Pekinu.

Dane treningowe to drugie ograniczenie. The Guardian poinformował 26 września, że Uniwersytet Oksfordzki pozwolił OpenAI trenować na materiałach Biblioteki Bodlejańskiej. Dokumenty wewnętrzne mówią, że zdigitalizowane materiały posłużyły do "zasilenia zbioru treningowego OpenAI". Do czerwca 2025 roku udostępniono 125 000 obrazów zeskanowanych z historycznych rozpraw oraz kolekcję 10 000 ballad ulotnych z XVI wieku. Oksford oświadczył, że skala była "skromna" i obejmowała wyłącznie materiał po wygaśnięciu praw autorskich, a Bodleian zachowuje prawa do skanów i opublikuje je otwarcie w ciągu kilku miesięcy.

Dla każdego, kto buduje rozwiązania działające na urządzeniu, praktyczny wniosek z ostatniego tygodnia jest węższy niż nagłówki. Małe modele potrafią dobrze wykonywać konkretne zadania, co pokazuje premiera diaryzacji od Nvidii. Wciąż nie potrafią wiarygodnie powiedzieć, kiedy się mylą, co pokazuje praca o entropii. Przekierowanie do większego modelu może rozwiązać drugi problem, ale w tym badaniu przekierowanie między rodzinami wyprzedziło przekierowanie w obrębie jednej rodziny o 15,2 punktu procentowego. Wybór eksperta liczy się więc bardziej niż porządek stosu.