Małe modele idą na urządzenia: Aleph Alpha wydaje Kolibri, llama.cpp dodaje modele decyzyjne
Aleph Alpha opublikowała 3 października Kolibri, otwarty model angielsko-niemiecki z 78 000 000 000 parametrów, z których pracuje tylko 3 000 000 000. Wagi można pobrać na licencji Apache 2.0. Tego samego dnia llama.cpp dodało obsługę modeli decyzyjnych, które odpowiadają na pytanie w jednym przebiegu przez sieć.

Aleph Alpha opublikowała Kolibri 3 października, w Dzień Jedności Niemiec, i ustawiła zapowiedź wokół suwerenności, nie wokół skali. Firma opisuje model jako angielsko-niemiecki Transformer typu Mixture-of-Experts z 78 000 000 000 parametrów, z których aktywnych jest 3 000 000 000, i z oknem kontekstu do 1 000 000 tokenów. Pełne wagi leżą na Hugging Face na licencji Apache 2.0.
Argumentem jest koszt wdrożenia. Aleph Alpha twierdzi, że model leży na froncie Pareto w stosunku jakości do kosztu serwowania, zarówno po angielsku, jak i po niemiecku, i że dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, wymieniając Nemotron 3 Super. Firma podaje, że klienci mogą uruchomić model u siebie i nie wysyłać wewnętrznych danych do zewnętrznych usług inferencji. To ma znaczenie dla kupujących z branż regulowanych. Administracja publiczna, przemysł i lotnictwo to rynki wymienione w zapowiedzi. Aleph Alpha mówi, że dostroiła Kolibri do niemieckiego, rozumowania, matematyki i zachowań agentowych. Nie publikuje natomiast niezależnego benchmarku. Podane porównania pochodzą z wewnętrznych ewaluacji firmy i żadna strona trzecia nie potwierdziła twierdzenia o froncie Pareto.
Żadne zewnętrzne laboratorium jeszcze tego nie sprawdziło.
llama.cpp zamienia modele decyzyjne w endpoint serwera
Również 3 października zespół ggml-org opublikował na Hugging Face wpis o nowym endpoincie /v1/systemone w llama.cpp. Wysyłasz stan (tekst, JSON albo zrzut ekranu) i pytania z typami, a model zwraca prawdopodobieństwo dla każdej opcji w jednym przebiegu przez sieć. Wpis mówi, że API trzyma się formatu System One wprowadzonego z modelem Jev od TypeSafe, więc istniejącym klientom wystarczy nowy adres bazowy.
Lista modeli pokazuje, o co chodzi z urządzeniami. Julia-1 odpowiada w 3 ms na jednej karcie NVIDIA RTX PRO 6000. Laya potrzebuje 5 ms. Kev-4B i lev to modele 4 000 000 000 parametrów z czasami 12 ms i 36 ms. OpenJev ma 27 000 000 000 parametrów i obsługuje obrazy, Clef ma 27 000 000 000 parametrów i działa na licencji Apache 2.0. Czasy to mediany dla jednego pytania na tej karcie, więc na laptopie będzie wolniej.
Modele decyzyjne zmieniają zadanie małego modelu. Zamiast generować tekst, oceniają podane opcje: kierują żądanie, moderują treść, sprawdzają, czy krok agenta się udał, albo wybierają następną akcję. Nie powstają żadne tokeny wyjściowe i dlatego opóźnienia podaje się w milisekundach, nie w sekundach.
Wspólnotowy Decision Index pokazuje, jak wypadają na tle siebie.
Wpis odsyła czytelników do tego indeksu po porównanie modeli i zapowiada kolejne modele decyzyjne. Endpoint obsługuje trzy typy pytań: choice, score oraz noul, czyli pytanie tak/nie, które zwraca prawdopodobieństwo odpowiedzi twierdzącej. Wejście może też zawierać obrazy dla modeli widzących, takich jak OpenJev.
Bariery ochronne też maleją
ZeroLeaks wydała 2 października Shield Small, klasyfikator z 118 000 000 parametrów do wykrywania wstrzyknięć promptów i jailbreaków. Działa lokalnie na procesorze z wagami int8 ONNX o rozmiarze 118 MB, a po pobraniu modelu inferencja odbywa się offline. Karta modelu zaleca używać go na niezaufanym tekście, zanim agent go przeczyta: na pobranych dokumentach, wynikach narzędzi, stronach internetowych, wiadomościach i opisach narzędzi.
Opublikowane liczby mają zastrzeżenie, które sami autorzy podają. Shield Small z regułami w wersji 2 osiąga 84,3% średniej dokładności wyrównanej na kategoriach, 71,8% wykrywalności ataków i 7,2% fałszywych alarmów na 35 publicznych zbiorach danych. Karta mówi, że to porównanie posłużyło do rozwoju modelu i nie jest ewaluacją na niewidzianych danych. Ostrzega też, że model może przegapić ataki i oznaczyć nieszkodliwy tekst, zwłaszcza dyskusje o bezpieczeństwie, które przytaczają ataki.
Jest jeszcze drugie ograniczenie, które warto znać przed wdrożeniem. Wejścia dłuższe niż 6 206 tokenów są obcinane, a przykładowy skrypt ocenia 28 okien od początku i cztery od końca, zwracając coverage.truncated: true. Wyniku obciętego i nieoznaczonego nie wolno traktować jako zgody na cały dokument, czytamy w karcie. Ocena nie jest też skalibrowanym prawdopodobieństwem, że atak się powiedzie.
Rynek konsumencki już wysyła produkty
Underdog to najbardziej konsumencka wersja tego trendu. Firma sprzedaje asystenta osobistego, który działa na Macu z Apple silicon, z betą na Windows, i twierdzi, że nic nie opuszcza komputera. Jej modele to Woof 4B i Underdog 27B. Strona podaje, że Underdog 27B bije Claude Opus 4.6 Max w Artificial Analysis Intelligence Index, ale to twierdzenie sprzedawcy, który powołuje się na zewnętrzny indeks bez opublikowanego wyniku.
Dokumentacja bezpieczeństwa jest łatwiejsza do sprawdzenia. Underdog twierdzi, że przeszedł wszystkie 20 wymagań oceny App Defense Alliance przeprowadzonej przez Leviathan Security Group. Podaje, że Google zgodził się, by czytał Gmaila i Kalendarz, a Hacktron AI zakończył test penetracyjny aplikacji na Maca i strony internetowej. Jane Manchun Wong jest wymieniona jako osoba rozkładająca aplikację na Maca, ale ten audyt trwa, a nie jest zakończony.
Google tymczasem zaciska darmowy plan Gemini. Strona pomocy zaktualizowana 3 października mówi, że zmiany zaczną obowiązywać użytkowników bez subskrypcji AI 9 października, gdy Auto stanie się domyślne i większość promptów trafi do Flash-Lite, najszybszego modelu. Przy wyłączonym automatycznym wyborze modelu rozmowy w całości idą do Flash-Lite. Płatne plany dostają wyższe limity: AI Plus dwa razy standard, AI Pro cztery razy, AI Ultra pięć albo dwadzieścia razy AI Pro.
Oba ruchy czytane razem prowadzą w przeciwne strony. Google popycha darmowych użytkowników do najmniejszego modelu w chmurze i rozlicza ich z mocy obliczeniowej co pięć godzin. Aleph Alpha i autorzy llama.cpp wkładają wagi w ręce użytkowników. Jedno nie zastępuje drugiego: Kolibri potrzebuje karty graficznej i operatora, a Flash-Lite tylko przeglądarki.
Czego wciąż brakuje
Niezależna ocena to luka. Twierdzenie Aleph Alpha o froncie Pareto, twierdzenie Underdoga o indeksie i wyniki dokładności Shielda opierają się na zbiorach testowych dostawców albo wybranych przez nich samych. Wpis o llama.cpp podaje opóźnienia na jednej karcie serwerowej i niewiele mówi o laptopie. Żadna z tych publikacji nie przynosi neutralnego audytu jakości po stronie małych modeli.
Jest też pytanie, do czego małe modele mają służyć. Aleph Alpha ustawia Kolibri do suwerennej pracy w regulowanych branżach, ZeroLeaks ustawia Shield jako filtr przed agentem, a llama.cpp ustawia modele decyzyjne jako routery i sprawdzacze. Żaden z nich nie próbuje być ogólnym chatbotem, a benchmarki, które decydują, czy chatbot jest dobry, nie mierzą dobrze żadnego z tych zadań.
Źródła
8- 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 02New in Llama.cpp: Decision ModelsEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04Underdog private personal on-device local AI for privacy and securityEN
- 05Changes to Gemini model access and limitsEN
- 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 08A Beginner's Guide to Running AI Models LocallyEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.