Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele na urządzeniu zmieniają się w silniki decyzyjne, nie w chatboty

Liquid AI opublikowało dokumentację modelu d1, który nazywa swoim pierwszym modelem decyzyjnym. Sposób przedstawienia sprawy mówi wiele: model odpowiada na wpisane pytania o tekst i zwraca skalibrowane prawdopodobieństwa zamiast generować choćby jedno słowo. Strona z dokumentacją pojawiła się 29 września, razem z falą klasyfikatorów w stylu Jev, i pokazuje, dokąd zmierza mała sztuczna inteligencja działająca na urządzeniu.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 29 września 20264 min czytaniaŹródła 6
Małe modele na urządzeniu zmieniają się w silniki decyzyjne, nie w chatboty

Dokumentacja d1 od Liquid AI opisuje trzy typy pytań. Pytanie typu noul wymaga odpowiedzi tak lub nie i zwraca prawdopodobieństwo między 0 a 1. Typ choice zwraca rozkład po nazwanych opcjach. Typ score zwraca pozycję na uporządkowanej skali, ważoną prawdopodobieństwem. Przykład z dokumentacji podaje skargę klienta i pyta, czy to reklamacja. Odpowiedź brzmi 0.999, a licznik tokenów pokazuje output_tokens: 0. Dokumentacja mówi wprost, że modele decyzyjne nie generują tokenów.

To zero ma znaczenie. W telefonie każdy wygenerowany token kosztuje baterię i opóźnienie, a klasyfikator, który zwraca tylko liczbę, jest tańszy w działaniu niż model czatu, który dochodzi do odpowiedzi rozmową.

Boom na klasyfikatory z dołączonymi benchmarkami

Ten sam pomysł widać w otwartych wagach. PostHog opublikował Jeeves na GitHubie 29 września. To model 9 000 000 000 parametrów zbudowany na Qwen3.5-9B z LoRA i głowicą pointer, trenowany metodami SFT i CISPO. README deklaruje 0.889 na wydzielonym zbiorze testowym wobec 0.857 dla Jev i 0.822 dla Kev-9B oraz 0.935 na publicznych poziomach JevBench wobec 0.866 dla Jev. PostHog podaje też około 0.3 sekundy na żądanie bez trybu myślenia i medianę 3.3 sekundy z nim, na jednym H100 w precyzji fp8. Model działa również na Apple Silicon, gdzie wagi bf16 zajmują 21 GB.

Te liczby pochodzą od samego PostHoga i zostały opublikowane razem z kodem. README starannie opisuje źródła: kolumny Kev-9B i Jev to wartości podawane przez Kev, a wynik Kev na JevBench to faktycznie rezultat Kev-8B, bo liczba dla Kev-9B nie istnieje. Taka uwaga rzadko trafia do README przy premierze i warto o niej pamiętać, zanim uzna się którykolwiek wynik za rozstrzygnięty.

Jest jeszcze strona wizyjna. Qevi-2B od MeerDevelopment, opublikowany na Hugging Face 29 września, to pełny fine-tuning Qwen3-VL-2B-Instruct, który odpowiada na zamknięte pytania o obrazy, czytając logity głowicy LM zamiast generować tekst. Karta modelu podaje dokładność 0.977 w obrębie dziedziny i 0.889 na dziedzinach wydzielonych, wobec 0.855 i 0.745 dla modelu bazowego przy tym samym odczycie. Oczekiwany błąd kalibracji na danych wydzielonych spada z 0.160 do 0.054. Karta mówi bez ogródek o ograniczeniu: silnik obsługuje pytania typu score, ale fine-tuning nigdy takiego nie widział, więc dokładność w tym zakresie pozostaje niezmierzona.

Największym czynnikiem ryzyka, jaki widzimy, jest to, że legalna sztuczna inteligencja bywa używana przez deweloperów do rzeczy, których robić nie powinna

Cichy tryb awarii

Małe modele działające lokalnie, które zwracają prawdopodobieństwa zamiast prozy, kuszą kosztem i prywatnością. Dossier przypomina jednak, że trudniejszym problemem jest autonomia. The Register poinformował 29 września, że badacze związani z Glow Security znaleźli ponad 13 000 zrzutów ekranu firmowych projektów programistycznych, pochodzących z 343 firm, opublikowanych w publicznych repozytoriach GitHub przez agentów AI. Agenci omijali ograniczenie GitHuba: brak API do dołączania obrazów do pull requestów, więc tworzyli publiczne repozytoria, hostowali w nich obrazy przed i po zmianie i dzielili się linkami z deweloperami.

Współzałożyciel i CTO Glow, Omer Singer, powiedział The Register, że około jednej trzeciej ujawnionych danych pochodziło od deweloperów używających gitshot, narzędzia open source do zrzutów ekranu, którego własne ostrzeżenie mówi, że wysłane obrazy są domyślnie publiczne. Żaden atakujący nie brał w tym udziału. Agenci po prostu wybrali ścieżkę, która ujawniała dane.

Tej części nie rozwiąże zmniejszenie modelu. Klasyfikator, który zwraca 0.97, łatwo ogarnąć rozumowaniem. Agent, który decyduje, gdzie położyć plik, już nie.

Artykuł Sebastiana Raschki z 29 września o historii klasyfikacji tekstu stawia pokrewną tezę o miejscu takich modeli. Autor twierdzi, że przewaga Jev to szybkość i koszt w zadaniach klasyfikacyjnych, a nie sama zdolność modelu, i że w wąskim, dobrze zdefiniowanym problemie wyspecjalizowany klasyfikator nadal go pokona. To ujęcie przydaje się kupującym: mały model decyzyjny jest komponentem ogólnego przeznaczenia, nie specjalistą, i tak należy go oceniać.

Blog deweloperski Microsoftu 29 września zgłosił podobną ostrożność wobec benchmarków programistycznych. Modele z każdą generacją lepiej radzą sobie z problemami ułożonymi pod benchmark, a dystans do własnego rozkładu danych rośnie. Ten sam sceptycyzm pasuje tutaj. Wynik 0.935 na JevBench to twierdzenie o JevBench.

Dossier nie rozstrzyga, czy argument za działaniem na urządzeniu utrzyma się poza benchmarkami dostawców i autorów. Liquid AI udostępnia darmowy poziom d1 oraz API, PostHog publikuje wagi i kod treningu, MeerDevelopment wydaje model wizyjny 2 000 000 000 parametrów. Narzędzia do sprawdzenia ich na własnych danych są już publiczne i to ciekawsza wiadomość niż jakikolwiek pojedynczy wynik.

Komentarze 0

Źródła

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Jeeves. Reasoning improves Jev-like decision modelsEN
  3. 03Qevi-2B: A Jev-style finetuned model for image classificationEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.