Małe modele decyzyjne trafiają na urządzenia: d1 od Liquid AI, klony Jev i 2B klasyfikator obrazu
Liquid AI opublikowało 29 września dokumentację d1, swojego pierwszego „modelu decyzyjnego”. To część szybko rosnącej rodziny małych modeli działających na urządzeniu, które zwracają skalibrowane prawdopodobieństwa zamiast generowanego tekstu.

Dokumentacja opisuje trzy typy pytań: Noul, pytanie tak/nie zwracające prawdopodobieństwo między 0 a 1; Choice, wybór jednej opcji z wielu zwracający rozkład po nazwanych odpowiedziach; oraz Score, uporządkowaną rubrykę zwracaną jako pozycja ważona prawdopodobieństwem. Przykładowe wywołanie wysyła skargę klienta do modelu „d1:free” i zwraca 0.999 na pytanie „Czy ta wiadomość to skarga od klienta?”.
To inny kształt modelu niż chatbot. Nic nie jest generowane. Dokumentacja Liquid podaje, że model decyzyjny „ocenia sytuację i zwraca skalibrowane prawdopodobieństwa dla ustalonego zestawu wyników w jednym wywołaniu, bez generowania tokenów”, a wiele pytań można ocenić względem tego samego stanu w jednym żądaniu.
Dlaczego ta klasa modeli istnieje
Ten sam wzorzec powtarza się w najnowszych źródłach z dossier. Sebastian Raschka opublikował 29 września długie techniczne wyjaśnienie, w którym prowadzi klasyfikację tekstu od worka słów przez RNN, CNN i transformery aż do tego, co nazywa „API w stylu Jev”. Twierdzi, że przyciąga koszt i szybkość, a nie sama dokładność. „Zaleta Jev polega na tym, że radzi sobie z takimi zadaniami klasyfikacji znacznie szybciej i taniej”, pisze, ostrzegając zarazem, że przy wąskim, dobrze zdefiniowanym problemie celowy klasyfikator i tak wygra pod każdym z trzech względów.
Repozytorium Jeeves od PostHog, również opublikowane 29 września, podaje liczby tego kompromisu. Jeeves to model w stylu Jev o 9 000 000 000 parametrów, zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową, trenowany metodami SFT i CISPO, żeby najpierw rozumował, a potem decydował. Repozytorium raportuje 0.889 na własnym wydzielonym zbiorze testowym wobec 0.857 dla Jev i 0.822 dla Kev-9B oraz 0.935 na publicznych poziomach JevBench wobec 0.866 dla Jev. Wnioskowanie zajmuje około 0.3 sekundy na żądanie bez rozumowania i 3.3 sekundy mediany z nim, na jednym H100 przy fp8. Działa też na Apple Silicon w bf16 lub FP8 i wymaga 48GB lub więcej.
Evan Schwartz, który prowadzi spersonalizowany kanał treści Scour, opublikował 29 września prośbę o buforowanie promptów w tej klasie API. Jego zestaw pytań liczy teraz 54 pytania (50 noul, 3 choice, 1 score) i około 2 150 tokenów, z czego około 260 tokenów to stały narzut. Schwartz wysyła je dosłownie przy każdym żądaniu, a w skali około 1 100 000 dokumentów miesięcznie pytania stanowią około 88% jego tokenów wejściowych. Rachunek wynosi poniżej 150 dolarów miesięcznie, ale Schwartz twierdzi, że buforowanie obniżyłoby koszty procesów wsadowych jeszcze bardziej.
Koniec na urządzeniu: 2B klasyfikator obrazu
Najwyraźniejszym wydaniem małego modelu w tej partii jest Qevi-2B, opublikowany na Hugging Face 29 września. To pełny fine-tuning Qwen3-VL-2B-Instruct, który odpowiada na zamknięte pytania o obrazy, czytając własne logity modelu zamiast generować tekst. Zapytaj, czy na obrazie jest drabina, a zwróci P(Yes) = 0.97, nie zdanie.
Karta modelu raportuje wzrost dokładności w domenie z 0.855 dla modelu bazowego do 0.977, dokładność na wydzielonej domenie z 0.745 do 0.889, a oczekiwany błąd kalibracji na wydzielonych danych spada z 0.160 do 0.054. Wnioskowanie jest wymienione jako do około 21 razy szybsze przy zadawaniu wielu pytań o jeden obraz. Karta wyraźnie zastrzega, że model trzeba używać przez odczyt logitów, a nie przez .generate(), oraz że wszystkie trzy obsługiwane typy pytań mogą dzielić jedno kodowanie obrazu, rozdzielone maską uwagi blokowo-diagonalną, a odpowiedzi są weryfikowane bit po bicie względem zadawania ich osobno.
Jedna z ocen w dossier przeczy entuzjazmowi. Firma bezpieczeństwa Casco przepuściła 2 449 ustaleń przez osiem modeli, w tym Jev, Claude i GPT, i porównała ich wyniki CVSS 3.1 z własnymi opublikowanymi ocenami. Każdy model wypadł średnio wyżej niż referencja. Jev przypisał 550 ocen krytycznych zbiorowi zawierającemu 55 opublikowanych ustaleń krytycznych, a 500 z tych 550 było poniżej progu krytycznego w referencji Casco. Według średniego błędu bezwzględnego GPT-6 Astra zajął pierwsze miejsce z 1.92 punktu, a Jev siódme z 3.40. Tekst Casco jest datowany na 28 września.
W tej samej partii z 29 września motyw małych modeli pojawia się w mniej oczywistych miejscach. Darmowy model w podglądzie, wystawiony na OpenRouter 24 września jako space-bunny-alpha, deklaruje kontekst miliona tokenów i według własnej strony zużywa około jednej trzeciej tokenów wyjściowych Qwen3.8 Flash na tych samych testach, 305 989 wobec 913 989. Simple AI uruchomiło Tango, model natywnie audio do wykrywania końca wypowiedzi, który według zapowiedzi podejmuje decyzję o medianie 300ms przed tym, jak konwencjonalny detektor aktywności głosowej zauważyłby pauzę, i myli 15 zakończeń tur na 400 w publicznym teście LiveKit, wobec 54 dla Soniox i 197 dla Deepgram Flux. To porównania producentów na publicznym teście, nie niezależne audyty.
Dwa inne wydania w tym oknie pchają w tym samym kierunku: Jeb, projekt na GitHubie, który zamienia dowolne API zgodne z OpenAI w model decyzyjny, oraz DesktopBrain, organizator plików na Maca działający na urządzeniu. Żaden z nich nie publikuje wyników testów w dostępnych materiałach.
Wzorzec jest spójny. Ciekawe małe modele ostatnich 72 godzin to nie miniaturowe chatboty. Są wąskie, skalibrowane i tanie w uruchomieniu tam, gdzie model frontier byłby absurdem: telefon, laptop, 2B koder obrazu, klasyfikator odpowiadający na 54 pytania za mniej niż 150 dolarów miesięcznie. Czy są wystarczająco dokładne do pracy, do której się je kieruje, to osobne pytanie, a wynik Casco sugeruje, że odpowiedź nie zawsze brzmi tak.
Źródła
12- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Language Models for Text Classification: From Bag-of-Words to JevEN
- 04Jeeves. Reasoning improves Jev-like decision modelsEN
- 05Every model (incl. Jev) we tested inflates security finding severityEN
- 06Please add prompt caching to Jev-style modelsEN
- 07Space-bunny-alpha a reasoning model from an anonymous providerEN
- 08Tango: Simple AI's Conversational Awareness ModelEN
- 09Jeb: Turn any OpenAI API into a decision modelEN
- 10DesktopBrain - AI File Organizer for Mac and All Folders - Private On-Device AIEN
- 11Language Models Act on Hidden ValenceEN
- 12Needed 1+1, built a functional programming languageEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.