Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Modele decyzyjne w stylu Jev trafiają na urządzenia. Qevi-2B i d1 celują w pytania zamknięte

Klasyfikator obrazów z 2 000 000 000 parametrów, opublikowany we wtorek na Hugging Face, ma odpowiadać na zamknięte pytania o zdjęcia nawet 21 razy szybciej niż model bazowy, z którego powstał. To kolejny sygnał, że format modeli decyzyjnych w stylu Jev wychodzi poza tekst.

AI i modeleNewsAnna KaczmarekOpublikowano: 29 września 20265 min czytaniaŹródła 6
Modele decyzyjne w stylu Jev trafiają na urządzenia. Qevi-2B i d1 celują w pytania zamknięte

Karta modelu Qevi-2B, opublikowana 29 września, opisuje pełny fine-tuning Qwen3-VL-2B-Instruct, który nie generuje ani jednego zdania. Zapytaj go, czy na zdjęciu jest drabina, a zwróci P(Yes) = 0.97. Tę wartość odczytuje się bezpośrednio z logitów głowicy modelu językowego, na tej pozycji, na której model bazowy zacząłby swoją odpowiedź. Karta zaznacza, że wywołanie .generate() i parsowanie tekstu nie odtworzy podanych liczb, bo to nie jest ścieżka, na której model był dostrajany.

Deklarowane zyski dotyczą dokładności i kalibracji, nie samych możliwości modelu.

Bazowy Qwen3-VL-2B-Instruct przepuszczono przez identyczną ścieżkę odczytu na tych samych obrazach. Na tym tle Qevi-2B osiąga 0.977 w swojej domenie wobec 0.855 oraz 0.889 na 12 odłożonych domenach obrazów wobec 0.745. Oczekiwany błąd kalibracji na danych odłożonych spada z 0.160 do 0.054.

Jedno przejście w przód, wiele pytań

Deklaracja szybkości bierze się z pakowania pytań. Dołączony silnik qevi współdzieli jedno kodowanie obrazu między kilka pytań i rozdziela je maską uwagi w postaci blokowo-diagonalnej. Karta podaje, że odpowiedzi są identyczne jak przy zadawaniu pytań osobno, co sprawdzono bit po bicie. Repozytorium ostrzega też, że typ pytania score, czyli uporządkowana ocena na skali, nigdy nie trafił do korpusu treningowego. Korpus zawierał 57 000 pytań noul (tak/nie) i 28 500 pytań choice. Dokładność i kalibracja dla score są opisane jako niezmierzone i niesprawdzone.

Ta siatka typów pytań nie jest pomysłem Qevi. Dokumentacja modeli decyzyjnych Liquid AI, zaktualizowana 29 września, definiuje te same trzy kształty. Noul daje prawdopodobieństwo tak/nie między 0 a 1, choice daje rozkład po nazwanych opcjach, a score daje pozycję na uporządkowanej skali ważoną prawdopodobieństwem. Dokumentacja mówi wprost, że modele decyzyjne generują zero tokenów. Przykładowe zapytanie o klasyfikację skargi zwraca noul: 0.999 przy output_tokens: 0.

Warto przytoczyć, jak Liquid opisuje, kiedy używać którego typu, bo przekłada się to na argument za pracą na urządzeniu. „Jeśli twój kod rozgałęzia się na kategorii, użyj Choice. Jeśli porównuje z progiem na kontinuum, użyj Score. Jeśli bramkuje na wartości logicznej, użyj Noul” – czytamy w dokumentacji. Klasyfikator, który zwraca skalibrowany float, łatwiej porównać z progiem w aplikacji mobilnej niż model generatywny, którego odpowiedź trzeba parsować.

Wersja rozumująca idzie w przeciwną stronę

Nie wszyscy zmierzają ku mniejszej liczbie parametrów i mniejszemu namysłowi. Repozytorium Jeeves firmy PostHog, opublikowane na GitHubie 29 września, bierze model 9B w stylu Jev (Qwen3.5-9B z LoRA i głowicą pointer) i trenuje go metodą CISPO, żeby myślał, zanim zdecyduje. README podaje 0.889 na odłożonym zbiorze testowym wobec 0.857 dla Jev i 0.822 dla Kev-9B. Podaje też 0.935 na publicznych poziomach JevBench wobec 0.866 dla Jev.

Ceną jest opóźnienie.

Jeeves odpowiada w około 0.3 sekundy na zapytanie bez myślenia i w medianie 3.3 sekundy z myśleniem na jednym H100 w precyzji FP8. README zauważa, że ten sam checkpoint zdobywa 0.804 na zbiorze testowym autorów bez myślenia wobec 0.840 z myśleniem. Na M4 Pro jedno pytanie myśli z grubsza 20 tokenów na sekundę, czyli około 38 w FP8. Wagi zajmują 21 GB w bf16 albo 11.5 GB po kwantyzacji. README mówi, że potrzeba do tego Maca z 48 GB i mniejszych cache'ów, żeby uniknąć swapowania.

To inny cel wdrożenia niż Qevi-2B, a oba projekty ciągną w przeciwne strony ten sam format.

Skąd wziął się format

Objaśnienie Sebastiana Raschki z 29 września śledzi rodowód od reprezentacji worka słów i naiwnego Bayesa, przez sieci rekurencyjne i konwolucyjne, po klasyfikatory ery transformerów. Autor twierdzi, że Jev siedzi w niewygodnym środku. Najlepsze modele LLM potrafią robić te same zadania klasyfikacyjne, „a przy tym zdolne są do znacznie ogólniejszego podejmowania decyzji” – pisze, ale Jev radzi sobie z nimi szybciej i taniej. Na wąskim końcu klasyfikator zbudowany pod konkretne zadanie dorówna mu na dobrze zdefiniowanym problemie. Raschka zaznacza, że nie jest związany z Jev i nie zaproponowano mu darmowego dostępu.

Jego historia daje też pożyteczny test trzeźwości wobec szumu. Klasyfikacja tekstu naiwnym Bayesem sięga co najmniej 1961 roku, kiedy używano jej do sortowania abstraktów komputerowych. Raschka zauważa, że oryginalny filtr spamu Gmaila miał rzekomo korzystać z modelu naiwnego Bayesa na reprezentacji worka słów. Odczyt logitów na stałej pozycji to nowszy wybór inżynierski, nie nowy pomysł na to, czym jest klasyfikacja.

Uwadze warto polecić kalibrację

Przy pracy na urządzeniu ciekawą liczbą w karcie Qevi-2B nie jest dokładność, tylko tabela kalibracji. Autorzy podają, że skalowanie temperatury nałożone na fine-tuning pogarsza kalibrację. Wygładzanie etykiet podczas treningu usunęło już nadmierną pewność modelu bazowego. ECE wynosi 0.054 przy T = 1.0, 0.051 przy T = 1.5 i wraca do 0.160 przy T = 2.45, czyli zasadniczo do wartości modelu bazowego na danych odłożonych. Wcześniejsze wersje karty, zalecające 2.45, dopasowano do modelu bazowego przed fine-tuningiem i karta mówi teraz, że nie należy ich używać.

Należą się dwie ostrożności.

Qevi-2B i Jeeves publikują własne liczby. Kolumny Jev i Kev w README Jeevesa opisano jako liczby publikowane przez Kev, ograniczone do tych samych publicznych pozycji benchmarku; zamknięty poziom sędziego jest wyłączony. Niezależna replikacja którejkolwiek z tych liczb nie jest publiczna.

Trwa też spór o to, co w ogóle znaczą wyniki benchmarków. Wpis Microsoft for Developers z 29 września cytuje prawo Goodharta, „gdy miara staje się celem, przestaje być dobrą miarą”, i wskazuje na nakładanie się zadań z publicznych benchmarków z korpusami treningowymi. Model z wynikiem 92% na SWE-bench, argumentuje wpis, „nie mówi jednak nic o tym, czy ten sam model napisze poprawny kod, gdy pracuje z twoją wewnętrzną biblioteką auth”. Ten sam sceptycyzm przenosi się na poziomy JevBench.

Kierunek jest jednak dość jasny. Model wizyjny 2B zwracający progowane prawdopodobieństwa z logitów, model tekstowy 9B, który rozumuje, zanim sklasyfikuje, i hostowane API, które nalicza zero tokenów wyjściowych, to trzy realizacje tego samego założenia: wiele decyzji produkcyjnych wcale nie potrzebuje generowanej prozy.

Komentarze 0

Źródła

6
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.