Małe modele językowe przenoszą się z chmury na urządzenia

6 października Google udostępnił EmbeddingGemma 2. To model z 740 parametrów, który działa lokalnie na urządzeniach z 191 MB pamięci RAM. Tak niskie wymagania sprzętowe pokazują szerszy trend. Małe modele językowe przenoszą się z chmury na urządzenia i obsługują dane wrażliwe bez wysyłania ich na zewnątrz.

Wnioskowanie lokalne zyskuje grunt

Według The Decoder nowy model zamienia tekst, obrazy, wideo, dźwięk i kod na wektory liczbowe. Dzięki temu podobne treści łatwiej znaleźć i porównać. Firma opisuje go jako najbardziej kompaktowy model w swojej klasie; wypada lepiej od konkurencyjnych modeli nawet dwa razy większych w testach porównawczych osadzania multimodalnego. Działa lokalnie bez klucza API, a jedno zapytanie zajmuje około 20 do 70 ms przez WebGPU w przeglądarce. Ta szybkość ma znaczenie w zastosowaniach czasu rzeczywistego, które wcześniej wymagały odpytywania serwera.

Lokalne wykonanie pasuje do europejskich priorytetów ochrony danych. The Next Web pisał, że trzymanie danych na urządzeniu pozwala uniknąć transferu, od którego zaczyna się większość europejskich pytań o ochronę danych. Google budował już tłumacze offline na tanim sprzęcie, na przykład na Raspberry Pi za 80 dol., który obsługuje wrażliwe rozmowy bez wysyłania dźwięku na zewnętrzne serwery. Nowy model obsługuje ponad 100 języków, choć Google zaznacza, że jakość może być różna.

Modele decyzyjne i zadania specjalistyczne

Inna nowa klasa to model decyzyjny. 7 października Strands Agents pokazał Strands Decider 2B, model z 2 000 000 000 parametrów, zoptymalizowany pod szybkie eksperymenty i lokalny rozwój. W odróżnieniu od standardowych modeli językowych, które generują dowolny tekst, modele decyzyjne wybierają spośród zestawu opcji i przypisują proste oceny liczbowe. Mniejsza elastyczność pozwala im działać z bardzo niskim opóźnieniem i odpowiadać w dziesiątkach milisekund.

TechCrunch opisał podobny ruch Musubi, które 6 października ogłosiło PolicyLM-1.7B, model z 1 700 000 000 parametrów. Ten lekki model decyzyjny służy do moderacji treści w czasie rzeczywistym i stosuje zasady zapisane zwykłym angielskim do wiadomości w mniej niż 50 ms. Współzałożyciel Musubi Filip Jankovic powiedział, że takie podejście pozwala zarządcom platform oznaczać treści z wyprzedzeniem, skalowalnie i bez nowego treningu, gdy zmieniają się zasady.

Badania nad efektywnością i trybami awarii

Prace naukowe skupiają się na tym, dlaczego małe modele zawodzą i jak czynić je wydajniejszymi. Artykuł opublikowany 6 października na arXiv przeanalizował 8 199 przebiegów modeli z otwartymi wagami w systemie produkcyjnym. Praca „What Stops a Small Language Model From Driving a Database Agent” pokazała, że 75,7% strat w trybie agenta pochodziło z przebiegów, które wywołały co najmniej jedno narzędzie. To sugeruje, że wąskim gardłem jest często infrastruktura i integracja narzędzi, a nie sama zdolność rozumowania modelu. Autorzy zauważyli, że pięć zmian po stronie serwera, bez dotykania modelu czy promptu, przesunęło sześć modeli o 6 do 21 komórek na 30 w ich ocenie.

Inne prace dotyczą pamięci i kwantyzacji. Jedna z metod, MaskAhead, zmniejsza pamięć cache kluczy i wartości średnio 9,5 razy w modelach dyfuzyjnych blokowych, a wariant skwantyzowany osiąga redukcję 20,1 razy. Kolejna, SoloQ, proponuje ramy kwantyzacji bez kalibracji, które obniżają szczytowe zużycie pamięci do 2,61 razy i przyspieszają wnioskowanie end-to-end do 2,24 razy w modelach dyfuzyjnych.

Szerszy ekosystem

Zwrot ku AI na urządzeniu nie ogranicza się do tekstu i osadzeń. 5 października Reflection AI pokazało Beam, model mieszanki ekspertów z 501 parametrów, z których 23 000 000 000 jest aktywnych. Choć całość nie jest mała, liczba aktywnych parametrów jest niska, dzięki czemu model dorównuje większym chińskim modelom, takim jak GLM-5.2, zużywając trzy do czterech razy mniej mocy obliczeniowej. TechCrunch zauważył, że Reflection pozycjonuje się przeciw zamkniętym laboratoriom i chińskim modelom otwartym, chcąc dać zachodnią alternatywę dla firm i państw.

Mistral AI udostępnił 6 października Mistral Large 4, nazwany Le Chonk. Ten model trenowany w Europie ma znacząco przewyższać każdy model z otwartymi wagami powstały w USA lub Europie. The Decoder podał, że głównym argumentem Mistrala jest bezpieczeństwo IT: model odtwarza i łata podatności w oprogramowaniu, których konkurenci, jak Claude i GPT-6, nie tykają z powodu filtrów bezpieczeństwa. To pokazuje główny powód sięgania po modele lokalne i z otwartymi wagami: kontrolę nad sprzętem i oprogramowaniem dla bezpieczeństwa i zgodności.

Sprzęt też się zmienia. Nvidia opublikowała 6 października wpis o tym, dlaczego operatorzy telekomunikacyjni budują strategię AI na otwartych modelach, wskazując na potrzebę niższych opóźnień i suwerenności danych. Mniejsze, wydajniejsze modele spotykają się z możliwościami lokalnego sprzętu, więc przetwarzanie będzie coraz częściej dziać się wprost na urządzeniach użytkowników.