Małe modele idą na urządzenia: Liquid AI publikuje d1, Qevi-2B czyta logity zamiast mówić
Liquid AI opublikowało 29 września dokumentację d1. Opisuje model decyzyjny, który w jednym wywołaniu zwraca skalibrowane prawdopodobieństwa dla ustalonego zestawu wyników, nie generując ani jednego tokenu. Tego samego dnia na Hugging Face pojawił się Qevi-2B, model wizyjny z 2B parametrów, który zamiast pisać tekst, odczytuje logity.

Dokumentacja d1 od Liquid AI pojawiła się 29 września. Opisuje klasę modeli, które nie piszą ani jednego zdania. Model dostaje jeden stan (tekst albo obiekt JSON) oraz jedno lub więcej pytań z określonym typem i zwraca prawdopodobieństwa. Obsługiwane są trzy typy pytań: noul dla odpowiedzi tak/nie, choice dla wyboru jednej opcji z wielu i score dla uporządkowanej skali. Pytanie trzystopniowe może wrócić jako 1,85 między Medium i High. „Modele decyzyjne to nowa klasa modeli AI zbudowanych specjalnie do ustrukturyzowanych decyzji” – głosi strona.
To ujęcie nie jest wyłączne dla Liquid. We wtorek 29 września pojawił się też Qevi-2B, pełny fine-tuning Qwen3-VL-2B-Instruct opublikowany przez MeerDevelopment na Hugging Face. Odpowiada na zamknięte pytania o obrazy, czytając własne logity modelu. Zapytaj, czy na zdjęciu jest drabina, a dostaniesz P(Yes) = 0,97, nie zdanie. Karta modelu podaje dokładność w domenie 0,977 wobec 0,855 dla bazowego Qwen3-VL-2B, dokładność na danych odłożonych 0,889 wobec 0,745 oraz oczekiwany błąd kalibracji na danych odłożonych 0,054 wobec 0,160. Deklaruje też do około 21 razy szybsze wnioskowanie przy zadawaniu wielu pytań o jeden obraz.
Dlaczego małe modele są tymi ciekawymi
Ekonomia liczy się bardziej niż architektura. Evan Schwartz, który prowadzi spersonalizowany kanał treści o nazwie Scour, napisał 29 września, że wysyła 54 pytania (50 noul, 3 choice, 1 score) wobec około 1 100 000 dokumentów miesięcznie. Jego zestaw pytań to około 2 150 tokenów i stanowi około 88% tokenów wejściowych na zapytanie, bo pytania są za każdym razem wysyłane dosłownie. Jego rachunek wynosi poniżej 150 dolarów miesięcznie, co według niego przy takim wolumenie jest nieosiągalne dla modelu ogólnego przeznaczenia. Prosi laboratoria o dodanie cache'owania promptów albo zestawów pytań wielokrotnego użytku i wskazuje otwarte zgłoszenie w repozytorium SDK TypeSafe.
Inni już budują obejścia. Projekt o nazwie Jeb, opublikowany na GitHubie 29 września, zamienia dowolny endpoint zgodny z OpenAI w usługę decyzyjną w stylu Jev, czytając logarytmy prawdopodobieństw tokenów i zwracając ustrukturyzowany JSON pod POST /v1/systemone. Jego README mówi wprost o zależności: API może być zgodne z OpenAI dla zwykłego czatu, a mimo to nie udostępniać logprobs, których potrzebuje Jeb, więc trzeba sprawdzić tę możliwość, zanim wybierze się dostawcę. PostHog opublikował tego samego dnia Jeeves, model Qwen3.5-9B z LoRA i głowicą wskaźnikową, który najpierw rozumuje, potem decyduje, plus szkicownik dyfuzyjny block-4. Podaje 0,889 na własnym odłożonym zbiorze testowym wobec 0,857 dla Jev i 0,822 dla Kev-9B oraz 0,935 na publicznych poziomach JevBench wobec 0,866 dla Jev. Liczba 0,3 s na zapytanie dotyczy trybu bez rozumowania; z rozumowaniem mediana wynosi 3,3 s na jednym H100 przy fp8.
Jeden ostrzegawczy punkt danych przyszedł od Casco 28 września. Firma zajmująca się bezpieczeństwem przepuściła 2 449 ustaleń przez osiem modeli, w tym Jev, Claude i GPT, prosząc każdy o wybór ośmiu bazowych metryk CVSS 3.1. Każdy model wypadł średnio wyżej niż opublikowany punkt odniesienia Casco. Jev przypisał 550 ocen krytycznych zbiorowi zawierającemu 55 opublikowanych ustaleń krytycznych. GPT-6 Astra miał najniższy średni błąd bezwzględny, 1,92 punktu; Jev zajął siódme miejsce z 3,40. Ustrukturyzowane wyjście nie przełożyło się na lepszą ocenę wagi zagrożeń.
Również 29 września Sebastian Raschka opublikował długą techniczną historię klasyfikacji tekstu, próbując umiejscowić w niej Jev. Zauważa, że worek słów z naiwnym Bayesem sięga co najmniej 1961 roku i że nawet pierwotny filtr spamu Gmaila rzekomo go używał. Jego ocena jest wyważona: przy wąskim, dobrze zdefiniowanym problemie model w stylu Jev prawdopodobnie nie pokona klasyfikatora specjalnego przeznaczenia, ale jest znacznie bardziej ogólny. Simple AI wykorzystało ten dzień na premierę Tango, modelu natywnie audio do wykrywania końca wypowiedzi, który według firmy wypada medianowo 300 ms przed konwencjonalnym detektorem aktywności głosowej i odzywa się 3,7 do 4,7 razy rzadziej w środku mowy niż Smart Turn przy tym samym pokryciu końców wypowiedzi. Na publicznym benchmarku LiveKit pomija 15 z 400 prawdziwych końców wypowiedzi, wobec 54 dla Soniox i 197 dla Deepgram Flux.
Wspólny wątek jest taki, że to właśnie warstwa małych modeli i modeli na urządzeniu jest miejscem, gdzie wdrożenia faktycznie się dzieją i gdzie toczą się teraz spory o pomiary. Karta Qevi-2B mówi wprost, że jej liczby odtwarzają się tylko przez odczyt logitów, nie przez .generate(): „Jeśli wywołasz .generate() i sparsujesz tekst, nie odtworzysz ich, bo to nie jest ścieżka, na której model był dostrajany”. To użyteczne ostrzeżenie dla każdego, kto benchmarkuje takie systemy. Model może wyglądać gorzej, niż jest, tylko dlatego, że każe mu się mówić.
Źródła
12- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Please add prompt caching to Jev-style modelsEN
- 04Jeb: Turn any OpenAI API into a decision modelEN
- 05Jeeves. Reasoning improves Jev-like decision modelsEN
- 06Every model (incl. Jev) we tested inflates security finding severityEN
- 07Language Models for Text Classification: From Bag-of-Words to JevEN
- 08Tango: Simple AI's Conversational Awareness ModelEN
- 09The System One models ecosystemEN
- 10AI models keep posting screenshots showing sensitive data from inside tech companiesEN
- 11OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
- 12Language Models Act on Hidden ValenceEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.