Małe modele językowe trafiają na urządzenia, a badania wciąż za nimi nie nadążają
Rodzina OpenELM od Apple'a obejmuje od 270 000 000 do 3 000 000 000 parametrów, a Gemma 3 1B od Google'a, o 1 000 000 000 parametrów, działa przy 529 MB. Praca z 2026 roku pokazuje jednak, że sygnały pewności na poziomie tokenów są bliskie zeru w 91% kombinacji modeli i zbiorów danych.

Małe modele językowe, te poniżej 3 000 000 000 parametrów, które mieszczą się na telefonie, a nie w centrum danych, w ciągu mniej więcej dwóch lat przeszły od ciekawostki badawczej do gotowego produktu. Obietnica jest prosta: model zostaje lokalnie, koszty serwera spadają, a dane użytkownika nie trafiają na cudzy sprzęt. Dowody są bardziej mieszane niż marketing.
Wkład Apple'a jest najczystszym punktem wyjścia. 24 kwietnia 2024 r. Ars Technica poinformowała, że firma udostępniła osiem modeli pod nazwą OpenELM, skrót od Open-source Efficient Language Models, na Hugging Face na licencji Apple Sample Code License. Ars Technica zauważyła, że licencja zawiera ograniczenia, które mogą nie pasować do powszechnie przyjmowanej definicji otwartego oprogramowania, choć kod źródłowy jest dostępny. Modele mają od 270 000 000 do 3 000 000 000 parametrów, w czterech wariantach pretrenowanych i czterech dostrojonych instrukcjami, z maksymalnym oknem kontekstu 2 048 tokenów. Biała księga Apple'a podaje, że „layer-wise scaling strategy” dała 2,36 proc. poprawy dokładności względem OLMo 1B od Allen AI przy połowie tokenów zużytych na pretrenowanie.
Ars Technica osadziła to w kontekście: rodzina Llama 3 od Mety sięgała wtedy 70 000 000 000 parametrów, nad wersją na 400 000 000 000 pracowano, a GPT-3 od OpenAI z 2020 roku miał 175 000 000 000. Liczba parametrów to przybliżona miara, nie wyrok.
Co faktycznie mierzą prace benchmarkowe
SlimLM, opublikowany na arXiv 15 listopada 2024 r., wybrał węższą drogę: pomoc w pracy z dokumentami. Autorzy, Thang M. Pham i czterech współautorów, przetestowali modele od 125 000 000 do 7 000 000 000 parametrów na Samsungu Galaxy S24, pretrenując na zbiorze SlimPajama, który liczy 627 000 000 000 tokenów, i dostrajając na własnym zbiorze DocAssist do streszczania, odpowiadania na pytania i podpowiedzi. W abstrakcie piszą o wynikach porównywalnych lub lepszych niż u istniejących małych modeli i wskazują aplikację na Androida jako wzorzec wdrożenia. To przydatny punkt odniesienia, bo nazywa razem sprzęt, zadanie i rozmiary modeli, czego większość deklaracji o pracy na urządzeniu nie robi.
Zespół AI Edge od Google'a poszedł szerzej. W poście na blogu dla deweloperów z 20 maja 2025 r. Mark Sherwood, Matthew Chan, Marissa Ikonomidis i Milen Ferev ogłosili wsparcie dla ponad tuzina modeli, w tym Gemma 3 i Gemma 3n, udostępnionych w nowej społeczności LiteRT na Hugging Face. Gemma 3 1B waży 529 MB i na mobilnym GPU rozpędza się do 2 585 tokenów na sekundę przy pre-fill, co według Google pozwala przetworzyć do strony treści w mniej niż sekundę. Gemma 3n, w wariantach o 2 000 000 000 i 4 000 000 000 parametrów, jest opisana jako pierwszy multimodalny mały model językowy Gemmy działający na urządzeniu, obsługujący tekst, obraz, wideo i dźwięk, przy czym tekst i obraz są dostępne pierwsze. W poście zapowiedziano też biblioteki do RAG i wywoływania funkcji na urządzeniu, obie dostępne na Androidzie od startu.
Jest jeszcze warstwa sceptyczna. Praca „Do small language models know what they don't know?” trafiła na arXiv 21 lipca 2026 r., jej autorem jest Prashant Mudgal. Ocenia siedem podejść do pewności opartej na entropii na siedmiu parach modeli i pięciu testach NLU. Główny wniosek jest dosadny: entropia na poziomie tokenów w małych modelach praktycznie nic nie mówi i w 91% kombinacji zbioru danych i modelu siedzi blisko zera, niezależnie od tego, czy odpowiedź jest poprawna. Entropia semantyczna, liczona przez próbkowanie i grupowanie odpowiedzi według znaczenia, daje użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność o maksymalnie 50 punktów procentowych, przy czym kierowanie między rodzinami modeli dawało średnio +22,0% wobec +6,8% w obrębie jednej rodziny.
Rozumowanie bez komentarza na bieżąco
Science News napisał 22 września 2026 r. o BDH-CQ, małym systemie eksperymentalnym zgłoszonym na arXiv 10 sierpnia, który rozwiązuje część łamigłówek logicznych bez wypisywania kroków pośrednich. Zuzanna Stamirowska, badaczka złożoności i prezeska firmy AI Pathway, powiedziała Science News: „Gdy zapytanie przychodzi, model w ogóle nie wypisuje swojego myślenia słowami”. Model rozwiązał blisko trzy na dziesięć łamigłówek w publicznym zestawie ARC-AGI-1 przy dwóch próbach. Stamirowska i współpracownicy szacują, że jedno zapytanie kosztuje około 0,00070 dol., czyli mniej więcej jedną jedenastą kosztu GPT-5.6 Luna na tym samym benchmarku, choć Science News zaznacza, że oba koszty policzono inaczej, a praca nie przeszła recenzji.
Nie wszystkich to przekonuje. Informatyk Yuntian Deng z Uniwersytetu Waterloo powiedział Science News, że wynik jest „ciekawym wynikiem o wydajności”, ale nie pokazuje, że architektura jest lepsza od innych podejść, a bez zapisanego rozumowania model trudniej sprawdzić. Jonas Geiping z Instytutu ELLIS w Tybindze i Instytutu Maxa Plancka ds. Inteligentnych Systemów nazwał podejście „zgrabnym”, ale zauważył, że BDH-CQ powstał specjalnie pod zadania w stylu ARC, co utrudnia bezpośrednie porównanie z systemami ogólnego przeznaczenia.
Wdrożenia już wyprzedzają publikacje. Bouncer od Imbue, filtr kanału na Twitterze opublikowany 8 kwietnia 2026 r., używa modelu open source, który firma nazywa Gemma 4 26B-A4B, o 26 000 000 000 parametrów, do klasyfikacji i na razie serwuje go z własnego centrum danych. Inżynier Millan Philipose pisze, że zespół pracuje nad uruchomieniem go bezpośrednio na laptopach i telefonach. W tej luce między ambicją a modelem o 529 MB na telefonie sprawdzi się większość kolejnej rundy deklaracji.
Źródła
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Can AI reason without words? A small model puts the idea to the testEN
- 06Show HN: Control your X/Twitter feed using a small on-device LLMEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.