Małe modele językowe działają już na urządzeniach, nie tylko w demach
Apple wydał OpenELM w kwietniu 2024 r.: osiem małych modeli językowych od 270 000 000 do 3 000 000 000 parametrów, opublikowanych na Hugging Face. Dwa lata później nacisk na urządzenia rozszerzył się na multimodalność, wyszukiwanie i wywoływanie funkcji.

Pomysł stojący za małymi modelami językowymi jest prosty: wnioskowanie zostaje w telefonie, dane nie wychodzą na serwer. Apple pokazało to konkretnie 24 kwietnia 2024 r. Ars Technica poinformował o wydaniu OpenELM, ośmiu modeli z dostępnym kodem źródłowym, od 270 000 000 do 3 000 000 000 parametrów.
Apple udostępnił je w dwóch wariantach, cztery pretrenowane i cztery dostrojone do instrukcji, na licencji Apple Sample Code License. Ars Technica zauważył, że licencja zawiera ograniczenia. OpenELM może więc nie spełniać powszechnie przyjmowanej definicji otwartego oprogramowania, choć kod źródłowy jest opublikowany. Modele mają okno kontekstu do 2048 tokenów. Trenowano je na RefinedWeb, odduplikowanym zbiorze PILE oraz podzbiorach RedPajama i Dolma v1.6. Apple podaje, że daje to w sumie około 1 800 000 000 000 tokenów.
Porównanie skali ma znaczenie. Rodzina Llama 3 od Meta miała wtedy maksymalnie 70 000 000 000 parametrów. GPT-3 od OpenAI z 2020 r. miała 175 000 000 000. Największy OpenELM ma 3 000 000 000.
„Odtwarzalność i przejrzystość dużych modeli językowych są niezbędne dla rozwoju otwartych badań, zapewnienia wiarygodności wyników oraz umożliwienia analizy uprzedzeń danych i modeli, a także potencjalnych zagrożeń”.
Ten fragment pochodzi ze streszczenia pracy Apple o OpenELM, cytowanego przez Ars Technicę. Apple wydał też CoreNet, bibliotekę do trenowania, oraz powtarzalne przepisy treningowe, które pozwalają odtworzyć wagi. Ars Technica opisał to jako nietypowe jak na dużą firmę technologiczną w tamtym czasie. To samo doniesienie przytacza zastrzeżenie Apple: ponieważ dane treningowe pochodzą ze źródeł publicznych, modele mogą generować nieprecyzyjne, szkodliwe, stronnicze lub nieodpowiednie treści.
Badania poszły za sprzętem. Praca przesłana do arXiv 15 listopada 2024 r. przedstawiła SlimLM, serię modeli od 125 000 000 do 7 000 000 000 parametrów dostrojonych do pomocy przy dokumentach na urządzeniach mobilnych. Autorzy przeprowadzili eksperymenty na Samsungu Galaxy S24, żeby znaleźć kompromis między rozmiarem modelu, długością kontekstu a czasem wnioskowania. Trenowali wstępnie na zbiorze SlimPajama, który liczy 627 000 000 000 tokenów, i dostroili na własnym zbiorze DocAssist, do streszczania, odpowiadania na pytania i sugerowania. Wraz z pracą udostępnili aplikację na Androida. Cel opisali jako obniżenie kosztów serwera i poprawę prywatności dzięki przetwarzaniu na urządzeniu.
Google dodaje wyszukiwanie i wywoływanie funkcji
Zespół AI Edge w Google posunął kategorię dalej w poście z 20 maja 2025 r. Firma podała, że rozszerza wsparcie z czterech początkowych małych modeli na urządzenia do ponad dwunastu. Wśród nich są Gemma 3 i wczesna wersja zapowiedzi Gemma 3n, hostowane w społeczności LiteRT na Hugging Face.
Gemma 3n jest opisana jako pierwszy multimodalny mały model językowy Gemmy na urządzenia. Obsługuje tekst, obraz, wideo i dźwięk w wariantach 2 000 000 000 i 4 000 000 000 parametrów. Modalności tekstowa i obrazowa były dostępne na Hugging Face, dźwięk miał dojść później. Google twierdzi też, że kwantyzacja po trenowaniu do int4 może zmniejszyć modele językowe od 2,5 do 4 razy w porównaniu z bf16, skracając opóźnienie i szczytowe zużycie pamięci. Model Gemma 3 1B, ważący 529 MB, osiąga do 2 585 tokenów na sekundę przy pre-fill na mobilnym GPU, według posta. To wystarczy, żeby przetworzyć stronę treści w mniej niż sekundę.
Ważniejsze były biblioteki, nie wagi. Google podało, że jego biblioteka RAG potrafi wyciągnąć kilka najbardziej trafnych fragmentów danych z 1 000 stron informacji lub 1 000 zdjęć, żeby osadzić model bez dostrajania. Biblioteka wywoływania funkcji pozwala modelowi zdecydować, kiedy uruchomić predefiniowane funkcje w aplikacji. Obie były dostępne na Androidzie w dniu premiery, inne platformy miały dojść później.
Pewność pozostaje otwartym pytaniem. Praca przesłana do arXiv 21 lipca 2026 r. sprawdzała, czy sygnały oparte na entropii pozwalają rozpoznać, kiedy mały model się myli. W siedmiu parach modeli i pięciu testach NLU autor stwierdził, że entropia na poziomie tokenów jest praktycznie ślepa w modelach poniżej 3 000 000 000 parametrów. W 91% kombinacji zbioru i modelu średnia entropia tokenów była bliska zeru niezależnie od tego, czy odpowiedź była poprawna. Entropia semantyczna dawała użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność o nawet 50 punktów procentowych. Routing między rodzinami dawał średnio 22,0% zysku wobec 6,8% przy routingu w obrębie jednej rodziny. To sugeruje, że jakość modelu eksperckiego liczy się bardziej niż zgodność architektur.
Komercyjne narzędzia już trafiają na rynek. Needle 3 od Cactus, opublikowany 18 września 2026 r., opisuje rodzinę modeli do 121 000 000 parametrów z binariami CQ2-bit, wywoływaniem narzędzi, ekstrakcją strukturalną i osadzaniem tekstu. Firma twierdzi, że jej czterowarstwowa podsieć dorównuje DeepSeek V4 Flash, gdy dostroi się ją do zadań końcowych przez jedną epokę. Spółka podaje dekodowanie od 400 do 4 000 tokenów na sekundę na Raspberry Pi 5.
Apple ze swojej strony nie włączył OpenELM do urządzeń konsumenckich. Ars Technica pisał, że iOS 18, którego premiera miała nastąpić w czerwcu na WWDC, miał według plotek zawierać funkcje AI na urządzeniu. Doniesienie wspominało też o możliwości, że Apple zatrudni Google lub OpenAI do cięższego przetwarzania poza urządzeniem. Dwa lata później małe modele są rzeczywiste. Decyzje produktowe wciąż za nimi nadążają.
Źródła
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Needle 3 - 8-29 MB foundation model for tiny devicesEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.