Google rozszerza AI Edge na urządzenia o Gemma 3n, dodaje RAG i wywoływanie funkcji
Google poinformował 20 maja, że jego stos AI Edge obsługuje teraz ponad tuzin małych modeli językowych działających na urządzeniu. Wśród nich jest wczesna wersja zapoznawcza Gemma 3n, pierwszego multimodalnego małego modelu firmy dla telefonów.

Google opisał szczegóły na blogu dla deweloperów, obok dwóch nowych bibliotek. Jedna obsługuje działające na urządzeniu generowanie wspomagane wyszukiwaniem (RAG), druga wywoływanie funkcji. Obie trafiają najpierw na Androida, inne platformy mają dołączyć później.
Google przekonuje, że małe modele językowe (SLM) wyszły już z fazy demonstracji. Blog podaje trzy zastosowania: technicy w terenie fotografujący część, która nie ma serwisu, pracownicy magazynu aktualizujący stan zapasów głosem oraz aplikacja medyczna, która zamienia podyktowaną historię pacjenta w wypełnione pola formularza. Wpis napisali starszy menedżer produktu Mark Sherwood i czterech inżynierów. Każdy przykład zakłada, że model działa lokalnie, bez podróży do serwera. Liczby są konkretne. Gemma 3 1B, wprowadzona wcześniej w tym roku, waży 529 MB. Osiąga do 2 585 tokenów na sekundę przy wstępnym wypełnianiu na mobilnym GPU. Firma twierdzi, że to wystarczy, by przetworzyć stronę treści w mniej niż sekundę.
Niewielki rozmiar pozwala objąć modelami szeroką bazę urządzeń. Ogranicza też pobieranie, do którego aplikacja zmusza użytkownika.
Nowsza Gemma 3n trafia jako wczesna wersja zapoznawcza w wariantach o 2 000 000 000 i 4 000 000 000 parametrów. Oba obsługują natywnie tekst, obraz, wideo i dźwięk. Na razie na Hugging Face są tylko tekst i obraz; dźwięk ma dołączyć później. Google wskazuje też nowe schematy kwantyzacji. Zmniejszają rozmiar modelu od 2,5 do 4 razy względem bf16, a przy tym skracają opóźnienie i szczytowe zużycie pamięci.
Apple i inni mierzyli się z tym samym problemem
Google nie jest pierwszy. Ars Technica pisał 25 kwietnia 2 024 roku, że Apple udostępnił osiem modeli z dostępnym kodem pod nazwą OpenELM. Mają od 270 000 000 do 3 000 000 000 parametrów, więc mieszczą się na smartfonie. Apple opublikował wagi modeli, kod treningowy i powtarzalne przepisy. Licencja Apple Sample Code License nakłada ograniczenia, które mogą nie spełniać ścisłej definicji open source. Biała księga Apple'a twierdziła, że model poprawił dokładność o 2,36 procent względem OLMo 1B od Allen AI, zużywając przy tym połowę tokenów pretreningowych. Firma osiągnęła to dzięki temu, co nazwała strategią skalowania warstwa po warstwie. Dla skali Ars Technica zauważył, że największy model Llama 3 od Meta miał wtedy 70 000 000 000 parametrów. GPT-3 od OpenAI z 2 020 roku trafił na rynek ze 175 000 000 000. Model o rozmiarze 529 MB to zupełnie inna kategoria obiektu.
Powtarzalność i przejrzystość dużych modeli językowych są kluczowe dla rozwoju otwartych badań, zapewnienia wiarygodności wyników oraz umożliwienia dociekań w sprawie uprzedzeń danych i modeli, a także potencjalnych zagrożeń.
To fragment streszczenia pracy Apple'a o OpenELM. Firma ostrzegła też, że modele trenowane na publicznych zbiorach danych mogą dawać wyniki niedokładne, szkodliwe, obciążone lub budzące zastrzeżenia.
Co badania mówią o ograniczeniach
Praca na arXiv z listopada 2 024 roku przedstawiła SlimLM, serię modeli od 125 000 000 do 7 000 000 000 parametrów. Są dostrojone do pomocy z dokumentami na Samsungu Galaxy S24. Autorzy raportowali wydajność porównywalną lub lepszą niż istniejące małe modele i udostępnili aplikację na Androida. Zauważyli, że przetwarzanie na urządzeniu może obniżyć koszty serwerów i poprawić prywatność. Sami ujmują to tak, że rzeczywista wydajność na telefonach pozostaje słabo zbadana.
Jest też mniej wygodny wynik. Osobna praca na arXiv autorstwa Prashanta Mudgala testowała siedem metod oceny pewności na 7 parach modeli i 5 zestawach testowych. Wyszło, że entropia na poziomie tokenów jest praktycznie ślepa w modelach poniżej 3 000 000 000 parametrów. W 91 procent kombinacji zbioru i modelu średnia entropia tokenów oscylowała blisko zera, niezależnie od tego, czy odpowiedź była poprawna. Entropia semantyczna, liczona przez próbkowanie wielu odpowiedzi i grupowanie ich według znaczenia, dawała użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność nawet o 50 punktów procentowych. Kierowanie między rodzinami modeli dało średnio +22,0 procent wobec +6,8 procent w obrębie jednej rodziny.
Biblioteka wywoływania funkcji od Google też w praktyce robi podobne ustępstwo. Blog zauważa, że można ją połączyć z biblioteką do symulacji narzędzi w Pythonie. Ta generuje dane syntetyczne, żeby poprawić dokładność wywoływania funkcji. To przyznanie, że małe modele potrzebują pomocy, zanim można im zaufać w działaniu.
Google nie podał, kiedy Gemma 3n opuści wersję zapoznawczą. Nie powiedział też, na jakie platformy trafią następnie biblioteki RAG i wywoływania funkcji.
Źródła
4- 01On-device small language models with multimodality, RAG, and Function CallingEN
- 02Apple releases eight small AI language models aimed at on-device useEN
- 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 04Do small language models know what they don't know?EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.