Małe modele decyzyjne wchodzą na urządzenia. Liquid AI, PostHog i Qevi pokazują klasyfikatory
Liquid AI opublikowało 29 września dokumentację modelu d1, swojego pierwszego modelu decyzyjnego. Tego samego dnia PostHog udostępnił Jeevesa, klasyfikator 9B w stylu Jev, a na Hugging Face pojawiła się karta Qevi-2B, klasyfikatora obrazów o 2B parametrów.

Trzy małe modele do konkretnych zadań pojawiły się w ciągu kilku godzin 29 września. Wszystkie opierają się na tym samym pomyśle: zamiast generować tekst, odczytują prawdopodobieństwa wprost z modelu i działają na sprzęcie, który masz pod kontrolą.
Strona dokumentacji Liquid AI opisuje d1 jako "nową klasę modeli AI zbudowanych do podejmowania ustrukturyzowanych decyzji". Zamiast generować tokeny jeden po drugim, model decyzyjny "ocenia sytuację i zwraca skalibrowane prawdopodobieństwa dla ustalonego zestawu wyników w jednym wywołaniu, bez wygenerowania żadnego tokenu". Przykładowa odpowiedź w dokumentacji pokazuje usage.output_tokens: 0 dla zapytania o wykrycie skargi, które zwróciło wartość noul równą 0.999.
Trzy kształty pytań, zero generowanego tekstu
Liquid dzieli pytania decyzyjne na trzy typy. Noul to pytanie typu tak lub nie, które zwraca prawdopodobieństwo między 0 i 1, opisane w dokumentacji jako "boolean na skali przesuwnej". Choice zwraca rozkład po nazwanych opcjach, na przykład {"billing": 0.65, "technical": 0.30, "account": 0.05}. Score zwraca pozycję ważoną prawdopodobieństwem na uporządkowanej skali, więc pytanie o pilność z trzema poziomami może wrócić jako 1.85, między "Medium" i "High".
Dokumentacja jasno mówi, że noul i score nie są wymienne. Noul równy 0.5 oznacza największą niepewność między tak i nie i "nie mówi nic o stopniu ani intensywności". Jeśli kod ma porównywać wynik z progiem na kontinuum, dokumentacja kieruje do score. Jeśli decyduje na podstawie wartości logicznej, do noul. API przyjmuje stan oraz jedno lub więcej nazwanych pytań i odpowiada na wszystkie w jednym wywołaniu. Biblioteki klienckie są dla Pythona (typesafe-sdk) i JavaScriptu (@typesafe-ai/sdk), a klucze mają przedrostek liquid_.
Strona Liquid to dokumentacja, nie praca z wynikami testów, więc nie podaje żadnych liczb o dokładności d1. To ma znaczenie, bo ten sam tydzień przyniósł dwa modele, które publikują wyniki, a różnica między nimi jest pouczająca.
Jeeves dokłada rozumowanie do formuły Jev
Repozytorium PostHoga na GitHubie opisuje Jeevesa jako "klasyfikator w stylu Jev z rozumowaniem i szkicownikiem dyfuzyjnym, trenowany metodami SFT i CISPO". To model 9B zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową, plus szkicownik dyfuzyjny o bloku 4 oraz pełny kod treningowy i dane. Repozytorium twierdzi, że bije Kev-9B i Jev na danych testowych, na których nigdy nie trenowano, uzyskując 0.889 wobec 0.822 i 0.857, a na publicznych poziomach JevBench 0.935 wobec 0.866 dla Jev.
Repozytorium publikuje pełniejszą tabelę i nie jest ona jednolicie pochlebna. Jeeves dostaje 0.746 na zadaniach transferowych obejmujących MMLU-Pro i ukryty stan, poniżej 0.800 Jev. Na MMLU spada do 0.793 wobec 0.900 Jev, a na MMLU-Pro z 10 opcjami do 0.739 wobec 0.840. Wygrywa na PAWS (0.875 wobec 0.788), na odłożonych strukturach reguł (1.000 wobec 0.885) i na politykach kontrastywnych (1.000 wobec 0.963). Rzadziej niż Jev odpowiada na pytania bez odpowiedzi z prawdopodobieństwem 0.9 lub wyższym: 0.055 wobec 0.090, gdzie niżej znaczy lepiej.
Repozytorium zauważa też, że bez rozumowania ten sam checkpoint dostaje 0.804 na swoim podziale testowym z 2 962 pozycji, wobec 0.840 z rozumowaniem. Ceną jest opóźnienie: około 0.3 sekundy na zapytanie bez rozumowania i mediana 3.3 sekundy z nim, na jednym H100 przy precyzji fp8. Na M4 Pro jedno pytanie rozumuje z grubsza 20 tokenów na sekundę. Wagi zajmują 21 GB w bf16, a domyślne pamięci podręczne dokładają kolejne 28 GB, dlatego README zaleca mniejsze ustawienia pamięci podręcznej na Macu z 48 GB.
Jedno zastrzeżenie jest wydrukowane w samej tabeli. Wyniku Kev-9B na JevBench nie opublikowano, a dwa wiersze z gwiazdką to Kev-8B na Qwen3, więc część tego porównania dotyczy innego modelu, niż sugeruje nagłówek kolumny.
Qevi-2B przenosi ten sam trik na obrazy
Karta modelu Qevi-2B na Hugging Face opisuje pełny fine-tuning Qwen3-VL-2B-Instruct, który odpowiada na typowane, zamknięte pytania o obrazy "czytając własne logity modelu zamiast generować tekst". Zapytaj, czy na zdjęciu jest drabina, a dostaniesz P(Yes) = 0.97, nie zdanie. Karta mówi wprost, że to nie jest model czatowy, i ostrzega, że wywołanie .generate() i parsowanie tekstu nie odtworzy opublikowanych liczb, bo to nie jest ścieżka, na której model dostrajano.
Odczyt to około 30 linii zwykłego kodu transformers bez trust_remote_code. W porównaniu z bazowym Qwen3-VL-2B-Instruct puszczonym przez identyczną ścieżkę odczytu Qevi-2B przechodzi z 0.855 na 0.977 dokładności w domenie i z 0.745 na 0.889 na 12 odłożonych domenach. Oczekiwany błąd kalibracji na odłożonych danych spada z 0.160 do 0.054. Karta podaje, że przewaga szybkości sięga około 21 razy, gdy zadaje się wiele pytań o jeden obraz, bo maska uwagi blokowo-diagonalna pozwala kilku pytaniom dzielić jedno kodowanie obrazu, co sprawdzono bit po bicie wobec zadawania ich osobno.
Karta ostrzega przed skalowaniem temperatury, które zalecały wcześniejsze wersje: przy T = 2.45 odłożony ECE wynosi 0.160, czyli tyle co w modelu bazowym, i "cały zysk z kalibracji zostaje zniesiony".
Jest jeszcze druga uczciwa uwaga. Zbiór treningowy zawiera tylko pytania noul i choice. Silnik obsługuje score, a model bazowy radzi sobie z takimi pytaniami zero-shot, ale fine-tuning nigdy takiego nie widział, więc karta stwierdza, że dokładność i kalibracja score są niezmierzone i należy je traktować jako niesprawdzone.
Dlaczego wątek urządzeń wraca
Tekst Sebastiana Raschki z 29 września o historii klasyfikacji tekstu jest tu przydatny, bo pokazuje, z czego te modele rezygnują. Zauważa, że najnowsze modele GPT i modele z otwartymi wagami potrafią te same zadania klasyfikacyjne co Jev, będąc znacznie bardziej ogólne, ale przewagą modelu w stylu Jev jest szybkość i koszt. Na drugim końcu: "przy wąskim, dobrze zdefiniowanym problemie Jev prawdopodobnie nie sklasyfikuje niczego lepiej, szybciej ani taniej niż klasyfikator do konkretnego zadania". Argument sprzedażowy to środek: bardziej ogólny niż model do jednego zadania, tańszy niż model frontier.
Artykuł Raschki prowadzi rodowód od reprezentacji worka słów zasilających naiwny Bayes, regresję logistyczną, SVM i XGBoost, i zauważa, że filtr spamu w Gmailu był podobno modelem naiwnego Bayesa na worku słów. Różnica polega teraz na tym, że klasyfikator to dostrojony model językowy z skalibrowaną głowicą prawdopodobieństw i można go dostarczyć jako wagi, a nie wywoływać jako usługę.
Tu właśnie wchodzi argument za urządzeniami. Jeeves działa na CUDA w bf16 lub fp8, a także na Apple Silicon przez MPS, z kompilacją fp8, która zmniejsza wagi do 11.5 GB i podnosi przepustowość rozumowania na M4 Pro z około 20 do około 31 tokenów na sekundę. Repozytorium podaje, że dokładność i NLL nie zmieniły się mierzalnie na pytaniach deweloperskich, a gotowe repozytorium PostHog/jeeves-fp8 jest opublikowane, więc pobieranie ma mniej więcej połowę rozmiaru.
Qevi-2B jest jeszcze mniejszy, ma 2 000 000 000 parametrów, czyli mieści się w rozmiarze, który pasuje do laptopa albo telefonu, a nie do szafy serwerowej. Dokumentacja Liquid opisuje model, który ocenia stan i pytania w jednym wywołaniu bez tokenów wyjściowych, i to właśnie ta właściwość czyni koszt zapytania przewidywalnym.
Pomiarów wciąż jest mało
Nic z tego nie jest wolne od problemów. Najnowsze badania z tej dziedziny, praca na arXiv przesłana 28 września przez Camerona Berga i Caspara Kaisera, pokazała, że w siedmiu modelach z otwartymi wagami z pięciu rodzin ukryte wzorce aktywacji związane z walencją w przewidywalny sposób rządzą późniejszymi wyborami, nawet gdy każdy widoczny token jest identyczny. Autorzy piszą, że czy tym śladom towarzyszy jakiekolwiek subiektywne doświadczenie istotne dla dobrostanu modelu, "pozostaje niejasne". To przypomnienie, że czytanie stanu wewnętrznego modelu jest dziś wzorcem projektowym, nie tylko diagnostyką.
Praktyczny zarzut pochodzi z bloga deweloperskiego Microsoftu opublikowanego 29 września, który twierdzi, że publiczne benchmarki niewiele mówią o własnym obciążeniu. Wpis przywołuje prawo Goodharta i wskazuje, że zadania SWE-bench pochodzą z publicznych repozytoriów, więc nakładanie się z danymi treningowymi jest nieuniknione i rośnie z każdą generacją. Model, który dostaje 92% na SWE-bench, jest, jak mówi wpis, udowodnienie dobry w rozwiązywaniu dobrze udokumentowanych problemów w popularnych repozytoriach, i to nie mówi nic o twojej wewnętrznej bibliotece.
Ta sama logika dotyczy modeli decyzyjnych. Własna tabela Jeevesa pokazuje, że przegrywa z Jev na MMLU i MMLU-Pro, a wygrywa na odłożonych strukturach reguł, więc odpowiedź na pytanie "który jest lepszy" zależy wyłącznie od tego, z jakiego rozkładu pochodzą twoje zgłoszenia, obrazy albo dokumenty. Liquid nie publikuje żadnych liczb o dokładności d1. Karta Qevi-2B wymienia score jako niesprawdzony. Liczby, które istnieją, pochodzą głównie od zespołów wydających modele i dotyczą podziałów, które same wybrały.
Nowe w tym tygodniu nie jest to, że małe klasyfikatory istnieją. Nowe jest to, że trzy osobne zespoły wydały je z tym samym pomysłem na interfejs, skalibrowanymi prawdopodobieństwami dla ustalonego zestawu odpowiedzi w jednym przejściu w przód, i wydały je dość małe, by działały bez centrum danych. Czy to wystarczy, żeby wyprzeć wzorzec modelu frontier z fallbackiem, który opisuje README Jeevesa, na to opublikowane benchmarki jeszcze nie odpowiadają.
Źródła
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05Language Models Act on Hidden ValenceEN
- 06What AI benchmarks are not telling youEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.