Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele uczą się odpowiadać bez pisania: modele decyzyjne trafiają na urządzenia

29 września Liquid AI opublikowało dokumentację d1, swojego pierwszego modelu decyzyjnego. Zwraca on skalibrowane prawdopodobieństwa w jednym wywołaniu, nie generując ani jednego tokenu. To najnowszy przedstawiciel szybko rosnącej klasy małych klasyfikatorów działających na urządzeniach, obok Jev, Qevi-2B i Jeeves od PostHog.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 29 września 20265 min czytaniaŹródła 6
Małe modele uczą się odpowiadać bez pisania: modele decyzyjne trafiają na urządzenia

Obietnica jest wąska i konkretna: model, który nie pisze. Jak wynika z dokumentacji Liquid AI opublikowanej 29 września, d1 ocenia fragment stanu i zwraca prawdopodobieństwa dla ustalonego zestawu wyników. Przykład samej firmy wysyła skargę klienta i dostaje z powrotem jedną liczbę, 0.999, w odpowiedzi na pytanie „Czy ta wiadomość to skarga?”.

Liquid nazywa ten format modelem decyzyjnym. Obsługiwane są trzy typy pytań, a dokumentacja opisuje je wprost. Pytanie „noul” jest pytaniem tak/nie i zwraca prawdopodobieństwo między 0 a 1. Pytanie „choice” zwraca rozkład po nazwanych opcjach. Pytanie „score” zwraca pozycję ważoną prawdopodobieństwem na uporządkowanej skali. Odpowiedź API zawiera pole output_tokens, które zawsze wynosi zero.

Dlaczego małe modele nagle stały się ciekawe

Liquid nie jest w tym zakątku sam. Tekst techniczny Sebastiana Raschki z 29 września o historii klasyfikacji tekstu przedstawia model Jev najpierw jako klasyfikator, a dopiero potem jako zjawisko kulturowe. Jego argument brzmi tak: Jev nie jest lepszy ani tańszy od klasyfikatora zbudowanego pod konkretne zadanie, ale jest znacznie bardziej ogólny niż modele wyspecjalizowane w jednym zadaniu i przy tym dużo szybszy i tańszy niż model frontier.

To połączenie, średni poziom ogólności przy niskim koszcie wywołania, sprawia, że historia z urządzeniami ma sens. Model 2 000 000 000 lub 9 000 000 000 parametrów, który zwraca prawdopodobieństwo zamiast akapitu, może działać na sprzęcie, do którego model frontier nie ma dostępu.

Qevi-2B, opublikowany na Hugging Face 29 września, to wersja dla obrazów. Jest to pełny fine-tuning modelu Qwen3-VL-2B-Instruct, który odpowiada na zamknięte pytania o obrazy, odczytując logity na pozycji, gdzie model zacząłby odpowiadać, a nie generując tekst. Karta modelu mówi o kompromisie bez owijania w bawełnę: „To nie jest model czatowy. Zapytaj go »czy na tym obrazie jest drabina?«, a zwróci P(Tak) = 0.97, a nie zdanie.”

Karta podaje dokładność 0.977 w obrębie dziedziny wobec 0.855 dla modelu bazowego oraz 0.889 na dziedzinach odłożonych wobec 0.745. Oczekiwany błąd kalibracji na danych odłożonych spada z 0.160 do 0.054. Jest też ostrzeżenie dla tych, których kusi dołożenie skalowania temperatury: przy T = 2.45 ECE na danych odłożonych wraca do 0.160, kasując cały zysk.

Szybkość to druga połowa obietnicy. Qevi-2B deklaruje do około 21x szybciej przy zadawaniu wielu pytań o jeden obraz, bo wszystkie trzy przykładowe pytania dzielą jedno kodowanie i są rozdzielone blokowo-diagonalną maską uwagi. Karta zapewnia, że odpowiedzi są identyczne jak przy pytaniu osobno, co sprawdzono bit po bicie.

„Największym czynnikiem ryzyka, jaki widzimy, jest to, że legalna AI bywa używana przez deweloperów, którzy potem robią rzeczy, których robić nie należy” powiedział Omer Singer, współzałożyciel i CTO Glow Security, w wywiadzie dla The Register.

Haczyk: agenci, którzy wyciekają, pomagając

Ten cytat ma niewiele wspólnego z dokładnością klasyfikacji, a wszystko ze wdrożeniem. The Register podał 29 września, że badacze z Glow Security znaleźli ponad 13 000 wrażliwych zrzutów ekranu firmowych projektów oprogramowania, pochodzących z 343 firm, opublikowanych w publicznych repozytoriach GitHub przez agentów AI. Nazwali to PixelLeak.

Mechanizm jest przyziemny. GitHub nie ma API do wrzucania obrazów do pull requestów, więc agenci poproszeni o pokazanie zrzutów interfejsu przed i po umieszczają je w publicznym repo. Około jednej trzeciej ujawnień pochodziło od deweloperów używających gitshot, otwartego narzędzia do zrzutów ekranu, którego własna nota o prywatności ostrzega, że wgrane obrazy są domyślnie publiczne.

Niczego z tego nie powodują małe modele. Ale to jest środowisko, w którym małe modele się proponuje: wystarczająco tanie, by działać stale, osadzone w narzędziach deweloperskich, działające bez człowieka w pętli. Klasyfikator działający na laptopie zaciska tę pętlę.

Rozumowanie, ale tylko trochę

Jeeves od PostHog, opublikowany na GitHubie 29 września, próbuje naprawić problem dokładności modeli w stylu Jev, nie rezygnując z formatu. To klasyfikator w stylu Jev o 9 000 000 000 parametrach, zbudowany na Qwen3.5-9B z LoRA i głowicą wskaźnikową, trenowany tak, by rozumować przed podjęciem decyzji, z dyfuzyjnym szkicownikiem blok-4.

Liczby z repo porównują go z Kev-9B i Jev na danych, na których nigdy nie trenowano: 0.889 wobec 0.822 i 0.857. Na publicznych poziomach JevBench podaje 0.935 wobec 0.866 dla Jev. Koszt to opóźnienie. Bez myślenia żądanie trwa około 0.3 sekundy, z myśleniem mediana 3.3 sekundy na jednym H100 przy precyzji FP8. Repo zauważa, że obcięcie łańcucha skraca ten czas.

Tabela Jeeves przeczy też prostej historii, że rozumowanie zawsze pomaga. Na MMLU-Pro wypada 0.739 wobec 0.840 dla Jev, a na MMLU 0.793 wobec 0.900. Autorzy nie uśredniają tych wyników, publikują je obok siebie.

Blog deweloperski Microsoftu w poście z 29 września o Agent Experience ujmuje ten punkt ogólnie. Wyniki benchmarków napędzają adopcję, adopcja napędza optymalizację pod benchmark, a wynik przestaje mówić cokolwiek o twoim własnym kodzie. „Model, który jest świetny w Django, może być mierny w twoim wewnętrznym frameworku, który powierzchownie przypomina Django, ale w krytycznych miejscach działa inaczej” głosi post. Ta sama logika dotyczy modelu decyzyjnego przetestowanego na publicznych poziomach, a potem wrzuconego do twojej kolejki zgłoszeń.

Na urządzeniach te wątki się schodzą. Qevi-2B podaje 21 GB wag w bf16, a Jeeves mówi, że Mac z Apple Silicon potrzebuje 48 GB lub więcej na domyślne cache, choć FP8 zmniejsza wagi do 11.5 GB i mniejsze ustawienia cache mieszczą się na maszynie z 48 GB. To nie telefon. To laptop, czyli wciąż inny cel wdrożenia niż centrum danych, i właśnie dlatego etykieta małego modelu robi tu realną robotę.

Żadne z tych wydań nie rozstrzyga, czy rama klasyfikacyjna wytrzyma zderzenie z chaotycznymi pytaniami produkcyjnymi. 0.97 łatwo poddać progowaniu. Pytanie „score” z niezmierzoną kalibracją, a tak karta Qevi-2B mówi o własnym typie „score”, już nie.

Komentarze 0

Źródła

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.