Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele językowe przenoszą się na urządzenia: co pokazują liczby

Małe modele językowe wychodzą z centrów danych i trafiają do telefonów, ale opublikowane wyniki pokazują nierówny postęp. Linia OpenELM od Apple obejmuje modele od 270 000 000 do 3 000 000 000 parametrów, a jeden z modeli Google waży 529 MB i na mobilnym GPU przetwarza do 2 585 tokenów na sekundę.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 27 września 20264 min czytaniaŹródła 5
Małe modele językowe przenoszą się na urządzenia: co pokazują liczby

Apple udostępnił osiem małych modeli językowych 24 kwietnia 2024 roku pod wspólną nazwą OpenELM, czyli Open-source Efficient Language Models, podaje Ars Technica. Modele mają od 270 000 000 do 3 000 000 000 parametrów i są dostępne na Hugging Face na licencji Apple Sample Code License. Ars Technica zauważa, że licencja zawiera ograniczenia, więc wydanie może nie spełniać zwykłej definicji open source, choć kod źródłowy jest dostępny.

Osiem modeli występuje w dwóch wariantach: cztery wstępnie wytrenowane i cztery dostrojone do instrukcji. Maksymalne okno kontekstu to 2 048 tokenów. Apple podaje, że dane treningowe pochodziły z RefinedWeb, wersji PILE bez duplikatów, z podzbioru RedPajama i podzbioru Dolma v1.6, łącznie około 1 800 000 000 000 tokenów. Biała księga firmy mówi, że strategia skalowania warstwowego dała poprawę dokładności o 2,36 proc. względem OLMo 1B od Allen AI przy połowie tokenów wstępnego treningu. Apple opublikował też CoreNet, bibliotekę do treningu, oraz powtarzalne przepisy treningowe. Streszczenie pracy stwierdza, że powtarzalność i przejrzystość dużych modeli językowych są niezbędne dla rozwoju otwartych badań.

Skala to najbardziej oczywisty kontrast. Ars Technica podaje, że największe wydanie Meta Llama 3 ma 70 000 000 000 parametrów, a w drodze jest wersja z 400 000 000 000. GPT-3 od OpenAI z 2020 roku miał 175 000 000 000. Liczba parametrów to zgrubna miara możliwości, nie wyrok.

Co pokazują testy na telefonach

SlimLM, zgłoszony do arXiv 15 listopada 2024 roku i poprawiony 25 listopada, to seria małych modeli językowych do pomocy przy dokumentach. Autorzy przeprowadzili eksperymenty na Samsungu Galaxy S24 i przyjrzeli się kompromisom między rozmiarem modelu (od 125 000 000 do 7 000 000 000 parametrów), długością kontekstu i czasem wnioskowania. SlimLM wstępnie wytrenowano na SlimPajama-627 000 000 000 i dostrojono na DocAssist, zbiorze danych zbudowanym przez autorów do streszczania, odpowiadania na pytania i zadań z podpowiedziami. Pracy towarzyszy aplikacja na Androida. Autorzy podają dwie motywacje: niższe koszty serwera i lepsza prywatność dzięki przetwarzaniu na urządzeniu.

Wkład Google, opisany na blogu Developers 20 maja 2025 roku, ma bardziej produktowy kształt. Google AI Edge rozszerzyło wsparcie z czterech początkowych modeli do ponad tuzina, w tym Gemma 3 i Gemma 3n, hostowanych w społeczności LiteRT na Hugging Face. Gemma 3 1B ma 529 MB i na mobilnym GPU potrafi przetworzyć do 2 585 tokenów na sekundę w fazie pre-fill. Według Google wystarcza to, by przetworzyć stronę treści w mniej niż sekundę. Gemma 3n, we wczesnym podglądzie, jest pierwszym multimodalnym małym modelem językowym Gemmy na urządzeniu, z wariantami 2 000 000 000 i 4 000 000 000 parametrów obsługującymi tekst, obraz, wideo i dźwięk. Tekst i obraz są na Hugging Face, dźwięk ma dojść później.

Google udostępniło też bibliotekę RAG na urządzenie, dostępną na Androida, oraz bibliotekę wywoływania funkcji na urządzeniu, również najpierw na Androida. Firma twierdzi, że kwantyzacja po treningu do int4 potrafi zmniejszyć modele językowe od 2,5 do 4 razy względem bf16, skracając przy tym opóźnienie i szczytowe zużycie pamięci.

"Gdy zapytanie dotrze, model w ogóle nie wypisuje swojego rozumowania słowami. Nic po drodze nie zamienia się w język" - powiedziała Science News Zuzanna Stamirowska, badaczka złożoności i prezeska firmy AI Pathway.

Ten cytat dotyczy BDH-CQ, eksperymentalnego systemu opisanego w pracy zgłoszonej 10 sierpnia do arXiv i omówionej przez Science News 22 września. Model aktualizuje pamięć o stałym rozmiarze przy każdym przykładzie, zamiast trzymać przykłady w kontekście. Stamirowska i współpracownicy twierdzą, że rozwiązał prawie trzy na dziesięć łamigłówek w publicznym zestawie ewaluacyjnym ARC-AGI-1 przy dwóch próbach. Szacują, że każde zapytanie kosztuje około 0,00070 dolara, mniej więcej jedną jedenastą kosztu GPT-5.6 Luna na tym samym benchmarku. Science News zauważa jednak, że oba koszty policzono inaczej, a badanie nie przeszło recenzji naukowej.

Poza laboratoriami badawczymi twierdzenia trudniej zweryfikować. Bouncer, filtr kanału na Twitterze opublikowany przez Imbue 8 kwietnia 2026 roku, używa modelu open source, który blog nazywa Gemma 4 26B-A4B, do klasyfikacji. Wpis mówi, że model jest obecnie serwowany z własnego centrum danych Imbue, a prace nad uruchomieniem go na laptopach i telefonach trwają.

Sceptycyzm jest uzasadniony, a część pochodzi od samych badaczy. Yuntian Deng z Uniwersytetu Waterloo powiedział Science News, że BDH-CQ to "ciekawy wynik w zakresie efektywności", ale nie dowodzi, że jego architektura jest lepsza od innych podejść. Stwierdził, że potrzeba więcej testów, by oddzielić projekt od metody treningu, a model, który nie wypisuje swojego rozumowania, trudniej sprawdzić. Jonas Geiping z Instytutu ELLIS w Tybindze i Instytutu Maxa Plancka dla Systemów Inteligentnych powiedział, że BDH-CQ powstał specjalnie do zadań w stylu ARC, co utrudnia bezpośrednie porównanie z systemami ogólnego przeznaczenia. Mimo to nazwał to podejście "zgrabnym".

Nierozstrzygnięte pozostaje, ile z tego przetrwa zetknięcie z produktem trafiającym do sprzedaży. Apple sam w pracy o OpenELM traktuje modele jako wydania badawcze. Zastrzeżenie Google jest takie, że Gemma 3n to wczesny podgląd. Luka między tabelą wyników a telefonem w kieszeni pozostaje tym, dla czego nikt nie opublikował liczb.

Komentarze 0

Źródła

5
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Can AI reason without words? A small model puts the idea to the testEN
  5. 05Show HN: Control your X/Twitter feed using a small on-device LLMEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.