Apple, Google, Imbue i Cactus przenoszą małe modele językowe na telefony i laptopy
Apple, Google i mniejsi dostawcy pchają małe modele językowe na telefony, laptopy i urządzenia noszone. Stawiają na to, że wnioskowanie może działać lokalnie, a nie w centrum danych.

W kwietniu 2024 r. Apple udostępniło osiem małych modeli językowych z dostępnym kodem źródłowym pod nazwą OpenELM. Mają od 270 000 000 do 3 000 000 000 parametrów, podał Ars Technica. Modele trafiły na Hugging Face na licencji Apple Sample Code License. Ars Technica zauważył, że licencja może nie spełniać powszechnie przyjętej definicji open source z powodu ograniczeń, choć kod źródłowy jest dostępny.
Cztery z ośmiu modeli są wstępnie wytrenowane, cztery dostrojone do instrukcji. Wszystkie osiem ma okno kontekstu do 2048 tokenów. Dane treningowe łączą RefinedWeb, odduplikowaną wersję PILE, podzbiór RedPajama i podzbiór Dolma v1.6. Apple podaje, że daje to około 1 800 000 000 000 tokenów.
Biała księga Apple'a twierdzi, że strategia skalowania warstwa po warstwie dała OpenELM poprawę dokładności o 2,36 proc. względem OLMo 1B od Allen AI, modelu o 1 000 000 000 parametrów. Firma zużyła przy tym o połowę mniej tokenów wstępnego treningu. Udostępniła też CoreNet, bibliotekę do trenowania, oraz powtarzalne przepisy treningowe, dzięki którym wagi można odtworzyć. Ars Technica uznał to wtedy za nietypowe u dużego koncernu technologicznego.
Liczba parametrów to zgrubna miara możliwości, a modele Apple'a stoją znacznie poniżej największych systemów. Rodzina Llama 3 od Meta osiągnęła 70 000 000 000 parametrów, a w przygotowaniu była wersja z 400 000 000 000. GPT-3 od OpenAI trafił na rynek w 2020 r. ze 175 000 000 000. Badawczy zakład brzmi: małe modele potrafią dziś dorównać temu, co kilka lat temu robiły znacznie większe.
Google dodaje modalności, RAG i wywoływanie funkcji
Zespół AI Edge w Google podał 20 maja 2025 r., że rozszerzył obsługę małych modeli językowych na urządzeniach. Program urósł z czterech modeli do ponad tuzina, w tym Gemma 3 i Gemma 3n, udostępnionych w nowej społeczności LiteRT na Hugging Face. Gemma 3n trafiła jako wczesny podgląd. Google opisuje ją jako pierwszy multimodalny mały model językowy Gemmy działający na urządzeniu. Warianty z 2 000 000 000 i 4 000 000 000 parametrów obsługują tekst, obraz, wideo i dźwięk. Tekst i obraz były dostępne na Hugging Face najpierw, dźwięk ma dojść później.
Google podało też liczby dotyczące kompresji. Twierdzi, że kwantyzacja po treningu do int4 zmniejsza modele językowe od 2,5 do 4 razy względem bf16, skracając opóźnienie i szczytowe zużycie pamięci. Gemma 3 1B, ważąca 529MB, osiąga na mobilnym GPU do 2 585 tokenów na sekundę przy wstępnym wypełnianiu kontekstu. Zdaniem Google'a to dość, by przetworzyć stronę treści w mniej niż sekundę.
Razem z modelami trafiły dwie biblioteki. AI Edge RAG, dostępna na Androidzie od premiery, pozwala modelowi czerpać z danych konkretnej aplikacji bez dostrajania. Google twierdzi, że potrafi wybrać najtrafniejsze fragmenty z 1000 stron albo 1000 zdjęć. Biblioteka Function Calling, też najpierw na Androida, pozwala modelowi decydować, kiedy wywołać zdefiniowane funkcje. Przykładowa aplikacja wypełnia formularz medyczny z dyktowanej mowy.
Powtarzalność i przejrzystość dużych modeli językowych są kluczowe dla rozwoju otwartych badań, zapewnienia wiarygodności wyników oraz umożliwienia analizy uprzedzeń w danych i modelach, a także potencjalnych zagrożeń.
To zdanie pochodzi ze streszczenia pracy Apple'a o OpenELM, cytowanego przez Ars Technicę. Apple ostrzegło też, że modele trenowano na publicznie dostępnych zbiorach danych. W efekcie mogą generować treści niedokładne, szkodliwe, stronnicze lub nieodpowiednie. Ars Technica pisał, że iOS 18, którego premiery spodziewano się w czerwcu na WWDC, miał według plotek zawierać funkcje AI działające na urządzeniu. Apple mogło też wynająć Google'a lub OpenAI do cięższego przetwarzania poza urządzeniem.
Testy na telefonie i filtr do własnego feedu
Praca na arXiv z listopada 2024 r., której autorami są m.in. Thang M. Pham, przedstawiła SlimLM, serię modeli dostrojonych do pomocy przy dokumentach na telefonie. Autorzy prowadzili eksperymenty na Samsungu Galaxy S24. Szukali kompromisów między rozmiarem modelu, od 125 000 000 do 7 000 000 000 parametrów, długością kontekstu a czasem wnioskowania. SlimLM wytrenowano wstępnie na zbiorze SlimPajama obejmującym 627 000 000 000 tokenów i dostrojono na DocAssist, zbiorze zbudowanym przez autorów do streszczania, odpowiadania na pytania i sugerowania treści. Udostępnili też aplikację na Androida.
Bouncer od Imbue bierze sprawę z innej strony. Opublikowany 8 kwietnia 2026 r. i zaktualizowany 25 września 2026 r. filtruje feed X/Twitter na podstawie opisu w zwykłym języku. Korzysta z modelu open source, który firma nazywa Gemma 4 26B-A4B. Imbue podaje, że na razie serwuje ten model z własnego centrum danych, a pracuje nad uruchomieniem go bezpośrednio na laptopie lub telefonie. Bouncer jest dostępny jako rozszerzenie do Chrome, dodatek do Firefoksa i aplikacja na iPhone'a. Wsparcie dla Reddita, LinkedIna i Safari jest zapowiedziane.
Needle 3 od Cactus Compute, opublikowany 18 września 2026 r., idzie jeszcze niżej. Firma opisuje drabinkę modeli od 29 do 121 000 000 parametrów, dających binarne pliki CQ2 o rozmiarze od 9 do 29 MB. Podaje szybkość od 400 do 4000 tokenów na sekundę przy dekodowaniu i od 1 do 10 000 tokenów na sekundę przy wstępnym wypełnianiu na Raspberry Pi 5. Cactus twierdzi, że czterowarstwowa podsieć dorównuje DeepSeek V4 Flash, gdy dostroi się ją do zadań końcowych przez jedną epokę.
Needle 3 celuje w wywołania narzędzi, ekstrakcję ustrukturyzowanych danych i osadzanie tekstu. Podane przypadki użycia obejmują inteligentne domy, roboty, telefony, urządzenia noszone, okulary AR, samochody i komputery PC. Każda odpowiedź niesie ocenę pewności z kalibrowanej głowicy. Silnik stosuje próg 0,1, poniżej którego wywołania trafiają do pola suppressed_calls.
Jeden wynik badań idzie pod prąd entuzjazmowi. Praca zgłoszona 21 lipca 2026 r. przez Prashanta Mudgala wykazała, że entropia na poziomie tokenów jest praktycznie ślepa w modelach poniżej 3 000 000 000 parametrów. W 91 proc. kombinacji zbioru danych i modelu średnia entropia tokenów była bliska zeru niezależnie od tego, czy odpowiedź była poprawna. Entropia semantyczna, liczona przez próbkowanie wielu odpowiedzi i grupowanie ich według znaczenia, dawała użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiało dokładność o nawet 50 punktów procentowych. Routing między rodzinami modeli dawał średnio +22,0 proc. wobec +6,8 proc. w obrębie jednej rodziny.
Autorzy pracy mówią wprost, co to znaczy dla wnioskowania lokalnego. Wartość metod entropijnych w małych modelach nie polega na oszczędności obliczeń, przekonują, ale na inteligentnym rozdzielaniu mocy obliczeniowej: więcej tokenów tam, gdzie mają największe znaczenie. Na razie argument za AI na urządzeniu opiera się na prywatności, opóźnieniu i koszcie. Trudniejsze pytanie o niezawodność pozostaje otwarte.
Źródła
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
- 06Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 FlashEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.