Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele językowe trafiają na urządzenia, ale sygnały pewności zostają w tyle

Rodzina OpenELM od Apple'a obejmuje od 270 000 000 do 3 000 000 000 parametrów, a Google dostarcza Gemma 3n z wejściem tekstowym, obrazowym, wideo i audio. Praca z arXiv z 2026 r. donosi jednak, że entropia na poziomie tokenów jest praktycznie ślepa w modelach poniżej 3 000 000 000 parametrów.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 27 września 20267 min czytaniaŹródła 6
Małe modele językowe trafiają na urządzenia, ale sygnały pewności zostają w tyle

Małe modele językowe działające na urządzeniach przestały być ciekawostką badawczą. W dwa lata przeszły od wag proof-of-concept na Hugging Face do gotowych bibliotek. Te biblioteki dodają wyszukiwanie, wywoływanie funkcji i wejścia multimodalne. Obietnica jest za każdym razem ta sama: wnioskowanie zostaje na telefonie lub laptopie, koszty serwera spadają, dane użytkownika nie wychodzą z urządzenia.

Narzędzia, które mówią tym modelom, kiedy się mylą, nie nadążyły.

Od ośmiu malutkich modeli do biblioteki

Apple otworzył ten etap 24 kwietnia 2024 r. Udostępnił osiem modeli językowych z dostępnym kodem źródłowym pod nazwą OpenELM, czyli Open-source Efficient Language Models, podał Ars Technica. Miały od 270 000 000 do 3 000 000 000 parametrów, w czterech wariantach pretrenowanych i czterech dostrojonych do instrukcji. Ars Technica osadził te rozmiary w kontekście. Rodzina Llama 3 od Mety sięgała wtedy 70 000 000 000 parametrów, a w przygotowaniu była wersja o 400 000 000 000. GPT-3 od OpenAI z 2020 r. miał 175 000 000 000.

Apple nie mówił tylko o rozmiarze. Firma twierdziła, że jej strategia skalowania warstwa po warstwie rozdziela parametry efektywniej. W białej księdze podała poprawę dokładności o 2,36 proc. względem OLMo 1B od Allen AI, zużywając przy tym połowę tokenów pretreningu. Opublikowała też bibliotekę treningową CoreNet i powtarzalne przepisy treningowe, co Ars Technica uznał za nietypowe dla dużej firmy technologicznej. Modele miały okno kontekstu 2048 tokenów. Trenowano je na RefinedWeb, odduplikowanym PILE, podzbiorze RedPajama i podzbiorze Dolma v1.6, w sumie około 1 800 000 000 000 tokenów.

Istnieje możliwość, że modele te będą generować odpowiedzi nieścisłe, szkodliwe, stronnicze lub nieodpowiednie w reakcji na prompty użytkowników, ostrzegł Apple w swojej pracy, cytowany przez Ars Technicę.

To zastrzeżenie znaczy więcej, odkąd modele wychodzą z laboratorium.

Google zamienia SLM w platformę

Do maja 2025 r. rama się zmieniła. Uwaga przeniosła się z publikowania modeli na wspieranie ekosystemu. Zespół AI Edge w Google podał, że rozszerzył wsparcie na urządzenia z czterech modeli do ponad tuzina. Hostuje je nowa społeczność LiteRT na Hugging Face, w tym Gemma 3 i Gemma 3n.

Gemma 3n pojawiła się jako wczesny podgląd. Google opisał ją jako pierwszy multimodalny mały model językowy Gemmy działający na urządzeniu, w wariantach o 2 000 000 000 i 4 000 000 000 parametrów, obsługujących tekst, obraz, wideo i audio. Firma podała, że modalności tekstowa i obrazowa są dostępne na Hugging Face, a audio dojdzie później. Wskazała też Gemma 3 1B o 1 000 000 000 parametrów i rozmiarze 529 MB. Model miał osiągać do 2 585 tokenów na sekundę przy pre-fill na mobilnym GPU, czyli przetworzyć stronę treści w mniej niż sekundę.

Ważniejsza częścią ogłoszenia była infrastruktura. Google dostarczył bibliotekę RAG działającą na urządzeniu, dostępną na Androidzie od startu. Wydał też bibliotekę wywoływania funkcji, również najpierw na Androida. Biblioteka RAG pozwala modelowi korzystać z danych konkretnej aplikacji bez dostrajania. Google twierdzi, że potrafi wyłuskać najtrafniejsze fragmenty z 1000 stron informacji lub 1000 zdjęć. Biblioteka wywoływania funkcji pozwala modelowi zdecydować, kiedy uruchomić zdefiniowane funkcje lub API. Aplikacja przykładowa Google wypełnia formularz z dyktowanej mowy. Zamienia głos na tekst, wyciąga pola i wywołuje funkcje aplikacji.

Google opisał też nowe schematy kwantyzacji po treningu int4. Twierdzi, że zmniejszają rozmiar modelu 2,5 do 4 razy w porównaniu z bf16, a przy tym skracają opóźnienie i szczytowe zużycie pamięci. To ten rodzaj szczegółu inżynierskiego, który decyduje, czy model trafi do wydania, czy zostanie demem.

SlimLM i test na Samsungu

Prace akademickie szły równolegle. Praca przesłana do arXiv 15 listopada 2024 r., poprawiana do 25 listopada, przedstawiła SlimLM. To seria małych modeli językowych zoptymalizowanych do pomocy przy dokumentach na urządzeniach mobilnych. Autorzy, Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt i Trung Bui, przeprowadzili eksperymenty na Samsungu Galaxy S24. Zmapowali kompromisy między rozmiarem modelu, od 125 000 000 do 7 000 000 000 parametrów, długością kontekstu i czasem wnioskowania.

SlimLM wytrenowano wstępnie na zbiorze SlimPajama, liczącym 627 000 000 000 tokenów. Dostrojono go na DocAssist, zbiorze zbudowanym przez autorów do streszczania, odpowiadania na pytania i sugerowania. Streszczenie pracy mówi, że najmniejszy model działał wydajnie na S24. Większe warianty dawały więcej możliwości w granicach mobilnych ograniczeń, a całość wypadła korzystnie na tle istniejących małych modeli językowych. Autorzy udostępnili też aplikację na Androida. Korzyść opisali jako niższe koszty serwera i lepszą prywatność dzięki przetwarzaniu na urządzeniu.

Problem pewności

Zostaje pytanie, czy te modele wiedzą, czego nie wiedzą. Praca przesłana do arXiv 21 lipca 2026 r. przez Prashanta Mudgala zbadała sygnały pewności oparte na entropii w małych modelach językowych poniżej 3 000 000 000 parametrów, działających w całości na sprzęcie konsumenckim. Oceniono siedem podejść na 7 parach modeli i 5 standardowych testach NLU.

Główny wynik jest niewygodny. Entropia na poziomie tokenów była praktycznie ślepa. W 91 proc. kombinacji zbioru i modelu średnia entropia tokenów była bliska zeru, niezależnie od tego, czy odpowiedź była poprawna. Praca stwierdza, że to czyni sygnały pewności oparte na tokenach bezużytecznymi w tej skali.

Entropia semantyczna wypadła lepiej. Metoda generuje wiele próbek, grupuje odpowiedzi według znaczenia i mierzy niepewność rozkładu. To odzyskało użyteczny sygnał pewności. Użycie go do kierowania niepewnych zapytań do większego modelu eksperckiego dało poprawę dokładności do 50 punktów procentowych. Kierowanie między rodzinami, praca podaje przykład z SmolLM o 360 000 000 parametrów do Phi-3.5-mini, dało średnio 22,0 proc. poprawy wobec 6,8 proc. przy kierowaniu w obrębie jednej rodziny. Wniosek autora: wartość metod entropijnych w małych modelach to nie oszczędność obliczeń, ale inteligentne rozdzielanie mocy obliczeniowej, czyli wydawanie większej liczby tokenów tam, gdzie znaczą najwięcej.

Rozumowanie bez słów

Osobny nurt prac pyta, czy małe modele muszą w ogóle zapisywać swoje rozumowanie. Science News podał 22 września 2026 r., że mały eksperymentalny system BDH-CQ, gdzie DH oznacza Dragon Hatchling, potrafi rozwiązać część zagadek logicznych bez rozpisywania kroków pośrednich. Praca trafiła do arXiv 10 sierpnia i nie przeszła recenzji.

Zamiast trzymać przykłady w kontekście, BDH-CQ używa każdego przykładu do aktualizacji pamięci o stałym rozmiarze. Zuzanna Stamirowska jest badaczką złożoności i prezeską firmy AI Pathway. Powiedziała Science News, że po przyjściu zapytania model w ogóle nie zapisuje swojego myślenia słowami. „Nic pośredniego nigdy nie zamienia się w język”, stwierdziła.

Stamirowska i współpracownicy podali, że model rozwiązał blisko trzy na 10 zagadek w publicznym zestawie ARC-AGI-1, gdy dostał dwie próby. Poradził sobie z częścią zadań obracania i przesuwania kształtów, ale utknął przy zmianach kolorów i niektórych kombinacjach reguł. Lepiej wypadł na trudniejszych zagadkach porządkowania i zagnieżdżania, gdy zobaczył przykład o podobnym poziomie trudności.

Deklaracja kosztów jest uderzająca. Badacze szacują, że jedno zapytanie do zagadki kosztuje około 0,00070 dol., mniej więcej jedną jedenastą tego, co GPT-5.6 Luna na tym samym teście. Science News zauważa, że oba koszty policzono inaczej. Zewnętrzni badacze zareagowali powściągliwie. Yuntian Deng z Uniwersytetu Waterloo nazwał to ciekawym wynikiem wydajnościowym. Powiedział, że nie dowodzi, iż sama architektura jest lepsza od innych podejść, i zauważył, że bez rozpisania rozumowania model trudniej sprawdzić. Jonas Geiping z Instytutu ELLIS w Tybindze i Instytutu Maxa Plancka ds. Systemów Inteligentnych powiedział, że model zbudowano specjalnie pod zadania w stylu ARC, co utrudnia bezpośrednie porównanie z systemami ogólnego przeznaczenia. Nazwał podejście zgrabnym i zwrócił uwagę, że radzi sobie z zadaniami testowymi bez ponownego treningu.

Wdrożenia wyprzedzają zrozumienie

Bouncer od Imbue, filtr kanału na Twitterze opublikowany 8 kwietnia 2026 r., pokazuje, jak wdrożenie wygląda w praktyce. Narzędzie klasyfikuje posty za pomocą modelu o otwartych wagach, który wpis nazywa Gemma 4 26B-A4B, czyli modelem o 26 000 000 000 parametrów. Wpis twierdzi, że model jest dość duży, by rozumieć kontekst, a zarazem dość mały, by nadążać za tempem przewijania. Imbue podaje, że obecnie serwuje model z własnego centrum danych i pracuje nad uruchomieniem go bezpośrednio na laptopach i telefonach. Bouncer jest dostępny jako rozszerzenie Chrome, dodatek do Firefoksa i aplikacja na iPhone'a, a wsparcie dla Reddita, LinkedIna i Safari zapowiedziano.

Wzór w tych projektach jest spójny. Możliwości i dystrybucja idą szybciej niż ocena. Apple wydał wagi z uczciwą notą o nieścisłych lub stronniczych odpowiedziach. Google dostarczył wyszukiwanie i wywoływanie funkcji, żeby modele mogły działać na danych aplikacji. SlimLM przetestował zadania dokumentowe na prawdziwym sprzęcie. Praca Mudgala pokazała, że najtańszy sygnał pewności nie działa poniżej 3 000 000 000 parametrów, a droższy owszem. BDH-CQ sugeruje, że część rozumowania może dziać się bez języka, choć badacze ostrzegają, że niewypowiedziane rozumowanie trudniej skontrolować.

Komentarze 0

Źródła

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Can AI reason without words? A small model puts the idea to the testEN
  6. 06Show HN: Control your X/Twitter feed using a small on-device LLMEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.