OpenELM od Apple i Gemma 3n od Google trafiają na telefony
W kwietniu 2024 roku Apple udostępniło osiem małych modeli językowych działających na smartfonie, najmniejszy ma 270 000 000 parametrów. Google przekazuje teraz Gemmę 3n jako wczesny podgląd do pracy z tekstem, obrazem, wideo i dźwiękiem na urządzeniu.

Pomysł na małe modele językowe jest prosty: wnioskowanie zostaje na urządzeniu, znika podróż do centrum danych, a dane użytkownika leżą tam, gdzie były.
Dwie premiery pokazują, jak daleko to zaszło od pokazu badawczego do narzędzi dla programistów. 24 kwietnia 2024 roku Apple przedstawiło OpenELM, zestaw ośmiu modeli opublikowanych na Hugging Face na licencji Apple Sample Code License, o czym pisał Ars Technica. Modele mają od 270 000 000 do 3 000 000 000 parametrów, w czterech wersjach pretrenowanych i czterech dostrojonych instrukcjami. Ars Technica zauważyła, że licencja zawiera ograniczenia, więc wydanie może nie spełniać zwykłej definicji open source, choć kod źródłowy jest dostępny. Modele pracują w oknie kontekstu 2 048 tokenów. Trenowano je na RefinedWeb, odduplikowanej wersji PILE, podzbiorze RedPajama i podzbiorze Dolma v1.6, co według Apple daje około 1 800 000 000 000 tokenów. Apple opublikowało też kod biblioteki CoreNet, użytej do treningu, oraz przepisy pozwalające odtworzyć trening.
Co mówią liczby
Liczba parametrów to tutaj najprostszy wskaźnik. Najmniejszy OpenELM od Apple jest około 14 razy mniejszy niż Phi-3-mini od Microsoftu z 3 800 000 000 parametrów, o którym Ars Technica pisała dzień wcześniej.
Największy wydany model Llama 3 od Meta ma 70 000 000 000 parametrów, a wersja z 400 000 000 000 jest w przygotowaniu. GPT-3 od OpenAI z 2020 roku miał 175 000 000 000 parametrów. Biała księga Apple twierdzi, że model poprawia dokładność o 2,36 procent względem OLMo 1B od Allen AI, zużywając przy tym o połowę mniej tokenów pretrenowania. To wynik zadeklarowany przez producenta i oparty na jednym porównaniu, nie niezależny dowód, a Ars Technica podała go jako twierdzenie z pracy. Apple ostrzega też, że ponieważ dane treningowe pochodzą ze źródeł publicznych, modele mogą generować treści niedokładne, szkodliwe, stronnicze lub nieodpowiednie.
„Odtwarzalność i przejrzystość dużych modeli językowych są kluczowe dla rozwoju otwartych badań, zapewnienia wiarygodności wyników oraz umożliwienia analizy uprzedzeń danych i modeli, a także potencjalnych zagrożeń.”
To zdanie pochodzi ze streszczenia pracy Apple o OpenELM, cytowanego przez Ars Technicę. Firma mówi, że wydanie ma wzmocnić i wzbogacić społeczność otwartych badań. Nie wdrożyła tej generacji modeli w swoich urządzeniach konsumenckich. Ars Technica pisała, że iOS 18, którego pokaz spodziewano się w czerwcu na WWDC, miał według plotek przynieść funkcje AI na urządzeniu, z możliwością, że Apple zatrudni Google lub OpenAI do cięższego przetwarzania.
Google poszerza zestaw narzędzi
Zespół AI Edge w Google wybrał inną drogę. W wpisie z 20 maja 2025 roku poinformował, że rozszerzył wsparcie na urządzeniu z czterech początkowych modeli do ponad dwunastu, w tym Gemma 3 i Gemma 3n, hostowanych w społeczności LiteRT na Hugging Face.
Gemma 3 1B waży 529 MB i na mobilnym GPU potrafi wstępnie wypełnić do 2 585 tokenów na sekundę, co według Google wystarcza, by przetworzyć stronę treści w mniej niż sekundę. Gemma 3n trafia jako wczesny podgląd, z wariantami 2 000 000 000 i 4 000 000 000 parametrów obsługującymi tekst, obraz, wideo i dźwięk. Tekst i obraz są na Hugging Face, dźwięk ma dojść później. Firma udostępniła też bibliotekę generowania wspomaganego wyszukiwaniem oraz bibliotekę wywoływania funkcji, obie najpierw na Androida, dzięki czemu model na urządzeniu może wyciągnąć właściwy kontekst z tysiąca stron lub zdjęć i uruchomić funkcje aplikacji z języka naturalnego.
Nad całością wisi jedno zastrzeżenie. Wskazówki Google dotyczące kwantyzacji mówią, że int4 potrafi zmniejszyć rozmiar modelu od 2,5 do 4 razy względem bf16, skracając opóźnienie i szczytowe zużycie pamięci, ale ta zamiana nie jest darmowa: niższa precyzja kosztuje trochę dokładności. To pokrętło, które musi ustawić każde wdrożenie na urządzeniu.
Źródła
2- 01Apple releases eight small AI language models aimed at on-device useEN
- 02On-device small language models with multimodality, RAG, and Function CallingEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.