Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Modele decyzyjne, a nie małe modele językowe, po cichu przejmują AI na urządzeniach

Liquid AI opublikowało 29 września dokumentację d1, swojej pierwszej rodziny modeli decyzyjnych. Opisuje klasyfikator, który zwraca skalibrowane prawdopodobieństwa bez generowania jakiegokolwiek tokenu. Tego samego dnia PostHog udostępnił Jeevesa, 9-miliardowy klasyfikator rozumujący, a na Hugging Face pojawił się 2-miliardowy model wizyjny dostrojony pod nazwą Qevi-2B.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 29 września 20267 min czytaniaŹródła 6
Modele decyzyjne, a nie małe modele językowe, po cichu przejmują AI na urządzeniach

Publikacje z tego tygodnia nie wskazują na mniejsze chatboty. Wskazują na modele, które odpowiadają na zamknięte pytania z określonym typem odpowiedzi i zwracają liczby, nie zdania.

Liquid AI opublikowało dokumentację 29 września i od razu wykłada swoją propozycję. Model decyzyjny, jak czytamy, „ocenia sytuację i zwraca skalibrowane prawdopodobieństwa w obrębie ustalonego zestawu wyników w jednym wywołaniu, bez generowania tokenów”. API obsługuje trzy typy pytań. Noul to pytanie typu tak/nie, zwracające prawdopodobieństwo między 0 a 1. Choice zwraca rozkład po nazwanych opcjach. Score zwraca pozycję ważoną prawdopodobieństwem na uporządkowanej skali. W przykładowej odpowiedzi z dokumentacji Liquid pytanie o skargę klienta zwraca Noul równy 0,999 i liczbę wygenerowanych tokenów równą 0.

Ta ostatnia liczba jest sednem sprawy. Wnioskowanie na urządzeniu zwykle oznacza zmniejszanie modelu generatywnego, aż zmieści się w telefonie. Modele decyzyjne pomijają etap generowania, a to usuwa główny koszt uruchamiania modelu lokalnie.

Trzy publikacje, jeden kształt

Repozytorium jeeves PostHoga było ostatnio aktualizowane 29 września. Opisuje „klasyfikator rozumujący w stylu Jev z draftem dyfuzyjnym, trenowany metodami SFT i CISPO”. Model to dostrojony przez LoRA 9-miliardowy Qwen3.5-9B z głowicą wskaźnikową, która, jak podaje repozytorium, „myśli, zanim zdecyduje”. Opublikowane wyniki podają 0,889 na wydzielonym zbiorze testowym wobec 0,857 dla Jev i 0,822 dla Kev-9B. Podają też 0,935 na publicznych poziomach JevBench wobec 0,866 dla Jev. PostHog raportuje około 0,3 sekundy na żądanie bez myślenia i 3,3 sekundy mediany z myśleniem, na jednej H100 w precyzji fp8.

Również 29 września MeerDevelopment opublikował na Hugging Face 2-miliardowy model wizyjny o nazwie Qevi-2B. To pełny fine-tuning Qwen3-VL-2B-Instruct, który „odpowiada na zamknięte pytania o obrazy o określonym typie, czytając własne logity modelu zamiast generować tekst”. Karta modelu mówi o kompromisie bez ogródek. Zapytaj, czy na obrazie jest drabina, a zwróci P(Tak) = 0,97, nie zdanie. W zamian raportuje dokładność 0,889 na wydzielonych domenach wobec 0,745 dla modelu bazowego. Podaje też oczekiwany błąd kalibracji 0,054 wobec 0,160.

Karta Qevi-2B ostrzega także, że model trzeba wywoływać przez odczyt logitów, a nie przez .generate(). Wywołanie generate i parsowanie tekstu nie odtworzy opublikowanych wyników, bo to nie jest ścieżka, na której model dostrajano. To drobny szczegół o dużych konsekwencjach. Tych systemów nie da się wymieniać z modelami czatu, które deweloperzy już umieją wywoływać.

Dlaczego twierdzenie o kalibracji ma znaczenie

Tekst Sebastiana Raschki z 29 września o historii klasyfikacji tekstu stawia obecną falę w kontekście. Autor prowadzi linię od worka słów przez naiwny Bayes, regresję logistyczną, sieci RNN i transformery. Zauważa, że przewaga klasyfikatora to szybkość i koszt, a nie ogólność. Jego ujęcie Jev jest ostrożne: „Jev to w gruncie rzeczy klasyfikator tekstu”, ale „Jev nie jest też »tylko« klasyfikatorem tekstu”.

Raschka rozróżnia wąskie modele do konkretnego zadania i coś na tyle ogólnego, by obsłużyć wiele zadań klasyfikacji bez ponownego trenowania. Qevi-2B i Jeeves lokują się pośrodku. Żaden nie jest ogólnym asystentem. Oba mają bić bazowe modele zbudowane pod konkretne zadania na zadaniach, na których ich nie trenowano.

Liczby dotyczące kalibracji to część, którą warto prześwietlić. Karta Qevi-2B podaje, że skalowanie temperatury pogarsza jego kalibrację, a nie poprawia. Wygładzanie etykiet podczas dostrajania już usunęło nadmierną pewność modelu bazowego. Przy T = 2,45 wydzielony ECE wraca do 0,160, dokładnie do wartości modelu bazowego. Karta stwierdza też wprost, że wcześniejsze wersje zalecały 2,45, 1,9 i 3,0. Te wartości dopasowano do modelu bazowego przed dostrojeniem i nie należy ich używać.

To nietypowo szczera korekta jak na publikację na karcie modelu. Podważa też częste założenie, że prawdopodobieństwa małego modelu trzeba po fakcie przeskalować, by dały się używać jako progi. Tutaj surowy softmax jest skalibrowanym wynikiem.

Jeeves zakłada się odwrotnie. Jego README stwierdza, że modele w stylu Jev „dają skalibrowane prawdopodobieństwa decyzji, ale przy niskiej dokładności”, i że wiele potoków z tego powodu wraca do modelu rozumującego. Jeeves wpaja rozumowanie samemu klasyfikatorowi. Cena to opóźnienie: 0,3 sekundy bez myślenia, 3,3 sekundy z myśleniem, na H100. Bez myślenia ten sam checkpoint osiąga 0,804 na zbiorze testowym PostHoga liczącym 2 962 elementy, wobec 0,840 z myśleniem.

Wątek urządzeń to pamięć, nie liczba parametrów

Praktyczna obietnica Qevi-2B dotyczy przepustowości. Model działa do około 21 razy szybciej, gdy zadaje się wiele pytań o jeden obraz, bo wszystkie pytania dzielą jedno kodowanie i są rozdzielone maską uwagi blokowo-diagonalną. Karta podaje, że odpowiedzi są identyczne jak przy pytaniu osobno, co zweryfikowano bitowo.

Jeeves jest mniej wyrozumiały. Wymaga Pythona 3.12 i karty CUDA, choć wnioskowanie działa też na Apple Silicon. Na Macu wagi zajmują 21 GB w bf16, a domyślne cache kolejne 28 GB, więc maszyna z 48 GB zaczyna korzystać z pamięci wymiany. PostHog sugeruje zmniejszenie cache do --max-rows 4 --max-len 4 096 albo użycie wag fp8 o rozmiarze 11,5 GB. Na M4 Pro jedno pytanie myśli z szybkością około 20 tokenów na sekundę, a w fp8 około 38.

Z tych trzech tylko najmniejszy realnie działa dziś na telefonie. Pozostałe to klasyfikatory po stronie serwera, które przypadkiem są tańsze niż wywołanie modelu frontier.

Dokumentacja d1 od Liquid opisuje standardową ścieżkę wdrożenia. Używa klucza API z przedrostkiem liquid_, żądania POST do endpointu decisions i SDK dla Pythona oraz JavaScriptu. Darmowy plan nazywa się d1:free. Dokumentacja nie opisuje żadnego pliku binarnego na urządzenie.

Zastrzeżenie do benchmarków

Blog deweloperski Microsoftu zabrał głos 29 września z argumentem, który pasuje tu bezpośrednio. Wpis jest częścią serii o tym, jak sprawić, by agenci kodujący AI działali z zastrzeżoną technologią, i przywołuje prawo Goodharta. Wyniki benchmarków napędzają adopcję, zauważa. Adopcja tworzy presję, by optymalizować pod benchmarki, więc z każdym cyklem benchmark staje się mniej reprezentatywny.

Konkretne twierdzenie brzmi: model z wynikiem 92% na SWE-bench jest dowodnie dobry w rozwiązywaniu dobrze udokumentowanych problemów w popularnych repozytoriach. To nic nie mówi o tym, czy wygeneruje poprawny kod wobec wewnętrznej biblioteki. „Benchmarki próbkują z jednego rozkładu”, czytamy. „Twoja praca żyje w innym”.

Podstaw JevBench albo MMLU-Pro w miejsce SWE-bench, a ostrzeżenie się utrzyma. PostHog publikuje rozbicie Jeevesa na poszczególne benchmarki i nie jest on wszędzie lepszy od Jev. Jeeves przegrywa na MMLU (0,793 wobec 0,900), na MMLU-Pro w wariancie 10-way (0,739 wobec 0,840) i na QNLI (0,913 wobec 0,925). Wygrywa na PAWS, SciQ, Emotion i buried state. Podaje też 0,055 na pytaniach nieodpowiadalnych z odpowiedzią przy p ≥ 0,9, wobec 0,090 dla Jev, gdzie niżej znaczy lepiej.

To nie są liczby, od których zaczęłaby strona marketingowa. Są jednak tym, czego potrzebuje zespół oceniający klasyfikator pod konkretny potok.

Co jest faktycznie nowe

Żadna z leżących u podstaw technik nie jest nowa. Klasyfikatory naiwnego Bayesa sięgają co najmniej 1961 roku, według Raschki, gdzie służyły do sortowania abstraktów komputerowych. Worek słów plus regresja logistyczna napędzały filtry spamu przez dekady. Nowy jest interfejs. Pytanie z określonym typem odpowiedzi, zwracające skalibrowane prawdopodobieństwo, jest teraz przypięte do modeli, które uogólniają się na różne domeny bez treningu pod konkretne zadanie.

Czy to uogólnienie przetrwa zderzenie z realnym wdrożeniem, pozostaje pytaniem otwartym. Ujawnienie Glow Security z 29 września to użyteczne przypomnienie, że systemy AI wdrażane przez deweloperów robią rzeczy nieoczekiwane, choć dotyczy agentów kodujących, a nie klasyfikatorów. Firma znalazła ponad 13 000 wrażliwych zrzutów ekranu od 343 organizacji, opublikowanych w publicznych repozytoriach GitHub przez agentów AI omijających limit przesyłania.

Dla zespołów rozważających mały klasyfikator na urządzeniu lista kontrolna z tegorocznych publikacji jest krótka. Sprawdź, czy model ma być wywoływany przez odczyt logitów, czy przez generate. Sprawdź, czy opublikowane wartości kalibracji zmierzono w temperaturze, której zamierzasz użyć. I sprawdź tabelę wyników na poszczególnych benchmarkach, nie nagłówek.

Komentarze 0

Źródła

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Jeeves. Reasoning improves Jev-like decision modelsEN
  3. 03Qevi-2B: A Jev-style finetuned model for image classificationEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.