Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Google rozszerza AI Edge na urządzenia o Gemma 3n, dodaje RAG i wywoływanie funkcji

Google poinformował 20 maja, że jego stos AI Edge obsługuje teraz ponad tuzin małych modeli językowych działających na urządzeniu. Wśród nich jest wczesna wersja zapoznawcza Gemma 3n, pierwszego multimodalnego małego modelu firmy dla telefonów.

AI i modeleNewsAnna KaczmarekOpublikowano: 28 września 20263 min czytaniaŹródła 4
Google rozszerza AI Edge na urządzenia o Gemma 3n, dodaje RAG i wywoływanie funkcji

Google opisał szczegóły na blogu dla deweloperów, obok dwóch nowych bibliotek. Jedna obsługuje działające na urządzeniu generowanie wspomagane wyszukiwaniem (RAG), druga wywoływanie funkcji. Obie trafiają najpierw na Androida, inne platformy mają dołączyć później.

Google przekonuje, że małe modele językowe (SLM) wyszły już z fazy demonstracji. Blog podaje trzy zastosowania: technicy w terenie fotografujący część, która nie ma serwisu, pracownicy magazynu aktualizujący stan zapasów głosem oraz aplikacja medyczna, która zamienia podyktowaną historię pacjenta w wypełnione pola formularza. Wpis napisali starszy menedżer produktu Mark Sherwood i czterech inżynierów. Każdy przykład zakłada, że model działa lokalnie, bez podróży do serwera. Liczby są konkretne. Gemma 3 1B, wprowadzona wcześniej w tym roku, waży 529 MB. Osiąga do 2 585 tokenów na sekundę przy wstępnym wypełnianiu na mobilnym GPU. Firma twierdzi, że to wystarczy, by przetworzyć stronę treści w mniej niż sekundę.

Niewielki rozmiar pozwala objąć modelami szeroką bazę urządzeń. Ogranicza też pobieranie, do którego aplikacja zmusza użytkownika.

Nowsza Gemma 3n trafia jako wczesna wersja zapoznawcza w wariantach o 2 000 000 000 i 4 000 000 000 parametrów. Oba obsługują natywnie tekst, obraz, wideo i dźwięk. Na razie na Hugging Face są tylko tekst i obraz; dźwięk ma dołączyć później. Google wskazuje też nowe schematy kwantyzacji. Zmniejszają rozmiar modelu od 2,5 do 4 razy względem bf16, a przy tym skracają opóźnienie i szczytowe zużycie pamięci.

Apple i inni mierzyli się z tym samym problemem

Google nie jest pierwszy. Ars Technica pisał 25 kwietnia 2 024 roku, że Apple udostępnił osiem modeli z dostępnym kodem pod nazwą OpenELM. Mają od 270 000 000 do 3 000 000 000 parametrów, więc mieszczą się na smartfonie. Apple opublikował wagi modeli, kod treningowy i powtarzalne przepisy. Licencja Apple Sample Code License nakłada ograniczenia, które mogą nie spełniać ścisłej definicji open source. Biała księga Apple'a twierdziła, że model poprawił dokładność o 2,36 procent względem OLMo 1B od Allen AI, zużywając przy tym połowę tokenów pretreningowych. Firma osiągnęła to dzięki temu, co nazwała strategią skalowania warstwa po warstwie. Dla skali Ars Technica zauważył, że największy model Llama 3 od Meta miał wtedy 70 000 000 000 parametrów. GPT-3 od OpenAI z 2 020 roku trafił na rynek ze 175 000 000 000. Model o rozmiarze 529 MB to zupełnie inna kategoria obiektu.

Powtarzalność i przejrzystość dużych modeli językowych są kluczowe dla rozwoju otwartych badań, zapewnienia wiarygodności wyników oraz umożliwienia dociekań w sprawie uprzedzeń danych i modeli, a także potencjalnych zagrożeń.

To fragment streszczenia pracy Apple'a o OpenELM. Firma ostrzegła też, że modele trenowane na publicznych zbiorach danych mogą dawać wyniki niedokładne, szkodliwe, obciążone lub budzące zastrzeżenia.

Co badania mówią o ograniczeniach

Praca na arXiv z listopada 2 024 roku przedstawiła SlimLM, serię modeli od 125 000 000 do 7 000 000 000 parametrów. Są dostrojone do pomocy z dokumentami na Samsungu Galaxy S24. Autorzy raportowali wydajność porównywalną lub lepszą niż istniejące małe modele i udostępnili aplikację na Androida. Zauważyli, że przetwarzanie na urządzeniu może obniżyć koszty serwerów i poprawić prywatność. Sami ujmują to tak, że rzeczywista wydajność na telefonach pozostaje słabo zbadana.

Jest też mniej wygodny wynik. Osobna praca na arXiv autorstwa Prashanta Mudgala testowała siedem metod oceny pewności na 7 parach modeli i 5 zestawach testowych. Wyszło, że entropia na poziomie tokenów jest praktycznie ślepa w modelach poniżej 3 000 000 000 parametrów. W 91 procent kombinacji zbioru i modelu średnia entropia tokenów oscylowała blisko zera, niezależnie od tego, czy odpowiedź była poprawna. Entropia semantyczna, liczona przez próbkowanie wielu odpowiedzi i grupowanie ich według znaczenia, dawała użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego poprawiło dokładność nawet o 50 punktów procentowych. Kierowanie między rodzinami modeli dało średnio +22,0 procent wobec +6,8 procent w obrębie jednej rodziny.

Biblioteka wywoływania funkcji od Google też w praktyce robi podobne ustępstwo. Blog zauważa, że można ją połączyć z biblioteką do symulacji narzędzi w Pythonie. Ta generuje dane syntetyczne, żeby poprawić dokładność wywoływania funkcji. To przyznanie, że małe modele potrzebują pomocy, zanim można im zaufać w działaniu.

Google nie podał, kiedy Gemma 3n opuści wersję zapoznawczą. Nie powiedział też, na jakie platformy trafią następnie biblioteki RAG i wywoływania funkcji.

Komentarze 0

Źródła

4
  1. 01On-device small language models with multimodality, RAG, and Function CallingEN
  2. 02Apple releases eight small AI language models aimed at on-device useEN
  3. 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  4. 04Do small language models know what they don't know?EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.