Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Modele decyzyjne idą w małe: Qevi-2B, Liquid d1 i Jeeves przenoszą klasyfikację na urządzenia

Model wizyjny z 2 mld parametrów, który odpowiada na pytania tak/nie, czytając własne logity zamiast generować tekst, trafił na Hugging Face 29 września. Deklaruje dokładność 0,977 w swojej dziedzinie i do 21 razy szybsze wnioskowanie, gdy o jeden obraz pytamy wiele razy.

AI i modeleNewsAnna KaczmarekOpublikowano: 29 września 20266 min czytaniaŹródła 12
Modele decyzyjne idą w małe: Qevi-2B, Liquid d1 i Jeeves przenoszą klasyfikację na urządzenia

Model nazywa się Qevi-2B i jest pełnym dostrojeniem Qwen3-VL-2B-Instruct. Autorzy piszą wprost, że to "nie model czatowy": gdy pytamy, czy na zdjęciu jest drabina, zwraca P(Tak) = 0,97, a nie zdanie. Karta modelu podaje dokładność 0,977 w swojej dziedzinie wobec 0,855 dla modelu bazowego. Na zbiorach spoza dziedziny wynik to 0,889 wobec 0,745, a oczekiwany błąd kalibracji na danych odłożonych wynosi 0,054 przy 0,160. Twierdzenie o szybkości opiera się na pakowaniu pytań. Wiele pytań dzieli jedno kodowanie obrazu, rozdzielone maską uwagi o budowie blokowo-diagonalnej. Autorzy sprawdzili wynik bit po bicie z osobnym zadawaniem tych samych pytań.

To jeden artefakt w kategorii, która ma dwa tygodnie i zdążyła już dostać SDK, benchmarki, konkurencyjny zestaw testów i co najmniej jednego klona open source. Firma TypeSafe wypuściła Jev 15 września. Według Casco model stał się memem "w ciągu czterdziestu ośmiu godzin".

Liquid nadaje nazwy elementom składowym

Liquid AI opublikowała 29 września dokumentację d1, który nazywa swoim pierwszym modelem decyzyjnym. Dokumentacja jest nietypowo konkretna co do przeznaczenia tych systemów. Model decyzyjny nie generuje tokenów po kolei. Ocenia stan i zwraca skalibrowane prawdopodobieństwa dla ustalonego zestawu wyników "w jednym wywołaniu, bez wygenerowania choćby jednego tokenu".

Liquid definiuje trzy typy pytań, które stały się faktycznym interfejsem. Noul to pytanie tak/nie zwracające prawdopodobieństwo między 0 a 1; dokumentacja używa przykładu sprawdzania spamu z wynikiem 0,92. Choice zwraca rozkład po nazwanych opcjach, na przykład {"billing": 0.65, "technical": 0.30, "account": 0.05} przy kierowaniu zgłoszeń. Score zwraca pozycję ważoną prawdopodobieństwem na uporządkowanej skali. Pytanie "jak pilne jest to zgłoszenie?" na trzech poziomach może więc wrócić jako 1,85, między Medium i High. Liquid radzi wybierać typ według tego, co kod robi dalej: rozgałęzienie po kategorii to Choice, porównanie z progiem to Score, a warunek na wartości logicznej to Noul.

Firma ostrzega też przed częstym myleniem pojęć. Noul na poziomie 0,5 oznacza według dokumentacji maksymalną niepewność między tak i nie i "nie mówi nic o stopniu ani natężeniu". Mierzenie stopnia wymaga Score z określonymi poziomami.

Jeeves: rozumowanie na wierzchu i rachunek na 3,3 sekundy

Najciekawszy głos sprzeciwu wobec kategorii przyszedł od PostHog, które 29 września opublikowało Jeevesa. To model z 9 000 000 000 parametrów w rodzaju Jev, zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową. Trenowano go metodami SFT i CISPO tak, żeby najpierw rozumował, a potem decydował. Repozytorium mówi bez ogródek, jaki kompromis poprawia. "Modele w rodzaju Jev dają skalibrowane prawdopodobieństwa decyzji, ale przy niskiej dokładności" - czytamy w README, i dlatego wiele potoków już teraz sięga po model rozumujący.

Jeeves podaje 0,889 na odłożonym i spoza dziedziny podziale testowym z 2 962 pozycji, wobec 0,857 dla Jev i 0,822 dla Kev-9B. Zastrzeżenie jest takie, że kolumny Kev i Jev to liczby publikowane przez Kev. Na 231 publicznych pozycjach JevBench deklaruje 0,935 wobec 0,866 dla Jev; na trudnym poziomie ze 111 pozycji 0,865 wobec 0,730. Błąd kalibracji na publicznych pozycjach JevBench wynosi 0,037. Ten sam checkpoint daje 0,804 bez rozumowania i 0,840 z nim.

Potem rachunek. PostHog mierzy około 0,3 sekundy na żądanie bez rozumowania i medianę 3,3 sekundy z nim, na jednej H100 w precyzji FP8. Firma zauważa, że skrócenie łańcucha ten czas zmniejsza. Wnioskowanie działa też na Apple Silicon z 48GB pamięci lub więcej. To ma znaczenie, jeśli sens małego modelu decyzyjnego polega na trzymaniu pracy lokalnie.

Liczby modeli bazowych w tabeli Jeevesa nie wszystkie są porównywalne: repozytorium oznacza gwiazdką wynik Kev-9B na JevBench. Przypis mówi, że żaden wynik Kev-9B na JevBench nie został opublikowany, a pokazane liczby to Kev-8B na Qwen3.

Kto właściwie płaci za klasyfikator

Najjaśniejszy argument produkcyjny daje Evan Schwartz, który prowadzi Scour, spersonalizowany kanał treści. W poście z 29 września opisuje, jak zadaje 54 pytania do około 1 100 000 dokumentów miesięcznie: 50 noulów, 3 choices i 1 score. To około 2 150 tokenów, w tym około 260 tokenów stałego narzutu. Jego pytania to teraz mniej więcej 88% tokenów wejściowych, wysyłanych dosłownie przy każdym żądaniu. Cały miesięczny wydatek wynosi poniżej 150 dolarów. Jak mówi, przepuszczenie tych samych treści przez nawet najtańszy LLM byłoby nie do udźwignięcia dla projektu bootstrappingowego.

Jego prośba jest konkretna: buforowanie promptów albo możliwość rejestrowania zestawów pytań wielokrotnego użytku.

Zauważa, że nie pakuje wielu postów do jednego żądania. Przytacza ostrzeżenie z dokumentacji, że dokładność spada, gdy stan rośnie o niepowiązane treści. Proponuje API przyjmujące wiele pytań i wiele wejść naraz jako alternatywę, która omija karę za pakowanie. Inni już zapełniają luki wokół TypeSafe. Projekt na GitHubie o nazwie Jeb, aktualizowany 29 września, zamienia dowolny endpoint zgodny z OpenAI w model decyzyjny. Czyta logproby tokenów i zwraca ustrukturyzowany JSON pod POST /v1/systemone, z tym samym formatem żądania w CLI. README mówi uczciwie o warunku wstępnym: endpoint może być zgodny z OpenAI dla zwykłego czatu, a mimo to nie udostępniać logarytmów prawdopodobieństwa, których Jeb potrzebuje. Trzeba sprawdzić tę możliwość przed wyborem dostawcy.

Problem benchmarków pojawia się wcześnie

Firma bezpieczeństwa Casco przepuściła 2 449 znalezisk przez osiem modeli, w tym Jev, Claude i GPT. Porównała oceny ważności w skali CVSS 3.1 z własnymi opublikowanymi odniesieniami. Każdy model przeszacowywał średnio. Jev przypisał 550 ocen krytycznych zbiorowi zawierającemu 55 opublikowanych znalezisk krytycznych, a 500 z tych 550 było poniżej progu krytycznego w odniesieniu Casco. GPT-6 Astra wypadł najdokładniej, ze średnim błędem bezwzględnym 1,92 punktu; Jev zajął siódme miejsce z 3,40, przed Haiku z 3,94.

Błędy ze znakiem wskazują wszystkie w tę samą stronę: Jev +3,30 punktu, Haiku +3,89, Astra +1,18, w dziesięciopunktowej skali. Casco ujmuje to tak, że ustrukturyzowane, skalibrowane wyjście nie poprawiło trafności ocen ważności względem jego odniesienia. Firma twierdzi, że powstały w ten sposób "security slop" kosztuje inżynierów czas. Badanie użyło tych samych dowodów przy każdym modelu, bez polityki oceniania Casco i bez kontekstu wewnętrznej aplikacji, więc mierzy samą ocenę, a nie arytmetykę.

Jest też pytanie o utrzymanie, na które nikt nie odpowiedział. Jeeves to dostrojenie Qwen3.5-9B z dyfuzyjnym szkicownikiem i API zgodnym z Jev; Qevi-2B to dostrojenie Qwen3-VL-2B. Oba zależą od modeli bazowych, które zostaną zastąpione. Kategoria obiecuje, że pytania można dodawać bez ponownego trenowania. To prawda o powierzchni API, ale nie o wagach.

29 września Sebastian Raschka opublikował długą techniczną historię klasyfikacji tekstu. Prowadzi ją od worka słów przez RNN, CNN i transformery aż do tego, co nazywa API w rodzaju Jev, wprost żeby "odczarować hype". Jego wniosek jest najmniej ekscytujący i prawdopodobnie najbardziej użyteczny. Przy wąskim, dobrze zdefiniowanym problemie model w stylu Jev nie pobije klasyfikatora specjalnego przeznaczenia ani dokładnością, ani szybkością, ani kosztem. Jego atutem jest ogólność w slocie klasyfikacji, a to znacznie mniejsze twierdzenie niż sugeruje reakcja.

Komentarze 0

Źródła

12
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Please add prompt caching to Jev-style modelsEN
  5. 05Jeb: Turn any OpenAI API into a decision modelEN
  6. 06Every model (incl. Jev) we tested inflates security finding severityEN
  7. 07Language Models for Text Classification: From Bag-of-Words to JevEN
  8. 08The System One models ecosystemEN
  9. 09AI models keep posting screenshots showing sensitive data from inside companiesEN
  10. 10AI Models Fail at Physics: Coding Harnesses Are to BlameEN
  11. 11How many tasks does it take to trust a cheaper model?EN
  12. 12Gates Foundation 5 Year Goal: Help 3B People to Use AI in Their LanguageEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.