Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Modele decyzyjne porzucają generowanie tekstu. Małe AI na urządzeniu stawia na odczyt logitów

Dwie premiery modeli z 29 września niosły ten sam pomysł: małe modele powinny zwracać skalibrowane prawdopodobieństwa zamiast generować tokeny. Tak działają d1 od Liquid AI i Qevi-2B, dostrojony Qwen3-VL-2B.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 29 września 20264 min czytaniaŹródła 6
Modele decyzyjne porzucają generowanie tekstu. Małe AI na urządzeniu stawia na odczyt logitów

Oba trafiły do sieci w ciągu sześciu minut. Liquid AI opublikowało dokumentację d1 o 20:09 UTC i nazwało go swoim pierwszym modelem decyzyjnym. MeerDevelopment wrzuciło Qevi-2B na Hugging Face o 20:16 UTC. Żaden z nich nie generuje tekstu.

Dokumentacja Liquid AI mówi o mechanizmie bez ogródek. Model decyzyjny, jak czytamy, „ocenia sytuację i zwraca skalibrowane prawdopodobieństwa dla ustalonego zestawu wyników w jednym wywołaniu, bez generowania tokenów”. API udostępnia trzy typy pytań: noul (tak/nie, zwraca liczbę zmiennoprzecinkową), choice (wybór jednej z nazwanych opcji) i score (pozycja ważona prawdopodobieństwem na uporządkowanej skali). W przykładzie z dokumentacji zdanie „Czekam na zamówienie ponad trzy tygodnie i nikt nie odpowiada na moje maile” zwraca noul równy 0.999 dla pytania „Czy ta wiadomość to skarga klienta?”. Odpowiedź podaje też usage.output_tokens jako 0.

Czytaj logity, pomiń zdanie

Qevi-2B idzie inną drogą do tego samego celu. To pełny fine-tuning Qwen3-VL-2B-Instruct. Odpowiada na zamknięte pytania o obrazy, czytając logity głowicy LM na pozycji, w której model zacząłby odpowiadać, ograniczone do dozwolonych tokenów odpowiedzi. Zapytaj, czy na zdjęciu jest drabina, a zwróci P(Yes) = 0.97. Karta modelu ostrzega, że wywołanie .generate() i parsowanie tekstu nie odtworzy opublikowanych liczb, „bo model nie był dostrajany tą ścieżką”.

Deklarowane zyski są duże i konkretne. Bazowy Qwen3-VL-2B przechodzi przez identyczną ścieżkę odczytu. Na tym tle Qevi-2B osiąga 0.977 dokładności w domenie wobec 0.855, a na domenach odłożonych 0.889 wobec 0.745. Oczekiwany błąd kalibracji na danych odłożonych spada z 0.160 do 0.054. Karta podaje też około 21x szybsze wnioskowanie przy wielu pytaniach o jeden obraz, bo pakowanie pytań dzieli jedno kodowanie obrazu.

Jedno zastrzeżenie wymaga uważnej lektury. Zbiór treningowy obejmuje tylko pytania noul i choice, więc typ score jest niesprawdzony. Karta wyraźnie wycofuje się też z wcześniejszych zaleceń dotyczących temperatury. Przy T = 2.45 oczekiwany błąd kalibracji na danych odłożonych wraca do 0.160, kasując cały zysk z kalibracji.

Małe, szybkie i wycelowane w klasyfikację

To argument za AI na urządzeniu w obecnej postaci. Przewodnik Ailoitte po rozwoju małych modeli, opublikowany w ciągu ostatnich 12 godzin, ujmuje to w kategoriach kosztu. Serwowanie modelu 7B może być „10 do 30 razy tańsze pod względem opóźnienia, energii i obliczeń” niż model 70 000 000 000 do 175 000 000 000 parametrów, czytamy, za dokumentem stanowiska NVIDIA z 2 025 roku. Przewodnik zauważa też, że małe modele działają lokalnie, co ma znaczenie dla danych medycznych i finansowych.

Esej Sebastiana Raschki o klasyfikacji tekstu z 29 września stawia ten sam punkt z drugiej strony. Jev opisuje jako w gruncie rzeczy klasyfikator tekstu. Jev wywołał „niemałe zjawisko kulturowe w społecznościach technicznych w ciągu ostatnich 2 tygodni”, pisze. Jest szybszy i tańszy od ogólnych LLM-ów w klasyfikacji, a przy tym bardziej ogólny niż modele dedykowane zadaniom. Zaznacza, że nie jest powiązany z Jevem i nie ma do niego darmowego dostępu.

Repozytorium jeeves PostHoga, zaktualizowane 29 września, dodaje do tego wzorca rozumowanie. Jeeves to model 9 000 000 000 parametrów w stylu Jev, zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową, trenowany metodami SFT i CISPO. Podaje 0.889 ogółem na odłożonym zbiorze testowym wobec 0.857 Jeva i 0.822 Kev-9B. Podaje 0.935 na publicznych poziomach JevBench wobec 0.866 Jeva. Myślenie kosztuje czas: około 3.3 sekundy mediany na zapytanie na jednym H100 w fp8, wobec 0.3 sekundy bez niego.

Liczby nie wskazują jednego kierunku. Jeeves bije Jeva ogółem, ale przegrywa na Transfer (0.746 wobec 0.800) i na MMLU-Pro 10-way (0.739 wobec 0.840). Odpowiada też na 5.5% pytań bez odpowiedzi przy p ≥ 0.9. To lepiej niż 9.0% Jeva, ale gorzej niż 0.0% Kev-9B.

Prognozy rynkowe dla tej kategorii mocno się różnią, co warto zaznaczyć, zamiast je uśredniać. MarketsandMarkets podaje rynek SLM na 930 mln USD w 2 025 roku, rosnący do 5,45 mld USD do 2 032 roku przy CAGR 28.7%. wizr.ai przytacza wartość 7,76 mld USD w 2 023 roku, rosnącą o 15.6% od 2 024 do 2 030 roku. Te dwa szacunki opisują rynki o różnej wielkości.

Para premier z 29 września sugeruje coś węższego i bardziej konkretnego. W pracy w kształcie klasyfikacji format wyjściowy sam jest przeprojektowywany wokół prawdopodobieństw, nie prozy.

Komentarze 0

Źródła

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05Small Language Model Development: Lower Cost, More PrivacyEN
  6. 06The Rise of Small Language Models in Enterprise AI Adoption [2026]EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.