Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Ollama dodaje modele decyzyjne w stylu Jev. Klasyfikator 9B działa lokalnie w 91 ms

Ollama 0.35 udostępnia endpoint /v1/systemone, który uruchamia modele decyzyjne na własnej maszynie. Na start dwa: 9B Nimble od Bespoke Labs i 0,8B tev1:0.8b od Together AI. W lokalnym teście z Pac-Manem na M5 Max Nimble potrzebował średnio 91 ms na decyzję.

AI i modeleNewsAnna KaczmarekOpublikowano: 30 września 20266 min czytaniaŹródła 9
Ollama dodaje modele decyzyjne w stylu Jev. Klasyfikator 9B działa lokalnie w 91 ms

Endpoint ogłoszono 30 września. Działa według schematu API Jev od TypeSafe: wysyłasz tekst jako state oraz zestaw nazwanych pytań, a model zwraca odpowiedź z prawdopodobieństwami dla każdej dozwolonej opcji.

Ollama wymienia trzy zastosowania: segregowanie zgłoszeń, kierowanie zapytań do modeli oraz moderację treści i bezpieczeństwa.

Dlaczego to ma znaczenie

Klasyfikacja, która wcześniej wymagała rundy przez sieć, jest teraz lokalnym wywołaniem funkcji. Z pętli znikają limity zapytań, opłaty za każde wywołanie i zależność od dostępności jednego dostawcy. Nie wiadomo natomiast, jak jest z dokładnością: Ollama podała opóźnienie, a nie zgodność z Jev na prawdziwym ruchu. Kto wbudowuje klasyfikator w pętlę agenta albo w takt gry, temu zmienia się budżet. Pojawia się też pytanie, na które wydanie nie odpowiada: czy model ogólny trenowany gdzie indziej zgodzi się z twoimi etykietami.

Jev, udostępniony przez TypeSafe 14 września 2026 według repozytorium Bespoke Labs, działa w chmurze i jest szybki, ale nadal odpowiada w około 300 ms, jak podaje projekt Jevstiller, przy każdym testowanym obciążeniu: od 16 do 64 równoczesnych klientów, do 190 zapytań na sekundę, p50 300 ms. Opublikowane przez TypeSafe limity z października 2026 to 80 zapytań i 100 000 tokenów na sekundę, zmieniane według uznania firmy. Dla pętli agenta albo taktu gry ta różnica jest całym argumentem.

Nimble to model 9B dotrenowany z Qwen3.5-9B. Strona biblioteki Ollamy podaje, że obsługuje trzy typy pytań (wybór z listy, prawda lub fałsz, ocena według rubryki), przyjmuje do 64 pytań o ten sam tekst w jednym wywołaniu i odpowiada w mniej niż 100 ms na MacBooku Pro z M5 Max. W przykładzie z Pac-Manem na blogu wyszło 91 ms. Model trenowano na parach kontrastowych, czyli takich, gdzie dwa przykłady różnią się jednym faktem i ten fakt odwraca odpowiedź.

Nowe API jest dostępne od Ollamy 0.35 przez nowy endpoint /v1/systemone.

Bespoke Labs opublikowało własną relację o pochodzeniu modelu. Nimble-v1 ukazał się 18 września jako Bespoke-Nimble-9B wraz z danymi i przepisem treningowym. Ollama dodała Nimble-v2 29 września. 6 października v3 był najlepszym otwartym modelem poniżej 25 mld parametrów w Decision Index. Potem, 13 października, na API Bespoke pojawiły się v4 (9 mld) i v4-max (27 mld), z wynikami 63,70 i 68,46 w publicznym zestawie, przy 57,96 dla Jev 1.13 i 62,25 dla Perplexity Decider v1.1. Bespoke zmierzyło te dwa modele we własnym przebiegu 12 października i zaznacza, że nie ma ich jeszcze na pulpicie Decision Index.

Repozytorium zachowuje ostrożność w jednej sprawie: Bespoke nie destylowało z Jev. Firma twierdzi, że chodzi o pokazanie, jak przygotować dane, wytrenować taki model i go serwować. 2 676 przykładów treningowych i 324 przykłady testowe wypadły z pierwszego wydania przez pomyłkę i opublikowano je 20 września.

Druga połowa oferty to uruchomienie modelu u siebie. Przykład zapytania w Ollamie pokazuje zgłoszenie do supportu skierowane do rozliczeń z prawdopodobieństwem 0,985, flagę zwrotu 0,997 i ocenę pilności 0,815, przy pewności 0,046 dla tej ostatniej. Ta niska wartość to przydatna podpowiedź: pewność mówi, jak skupione są prawdopodobieństwa, a nie czy odpowiedź jest poprawna.

Własne SDK TypeSafe działa z lokalnym endpointem. Ustaw TYPESAFE_BASE_URL na localhost, a klucz na "ollama", i istniejący klient Pythona wyśle te same zapytania, które wysłałby do usługi w chmurze. To najtańsza dostępna droga migracji i powód, dla którego kształt API Jev znaczy więcej niż jakikolwiek pojedynczy model.

Czy lokalny model 9B dotrzyma kroku wyspecjalizowanemu modelowi w chmurze, to osobne pytanie, a liczby samego Bespoke je komplikują. Jevstiller, proxy, które destyluje powtarzalne zadanie klasyfikacji Jev do małego modelu lokalnego na twoim ruchu, podaje, że na Banking77 (77 intencji obsługi klienta) jego model lokalny odpowiedział na 61,7% wiadomości testowych przy zgodności 99,40% z Jev wobec celu 98%. Przebieg na żywo z 25 września dał 70,7% przy 99,45%. Lokalna odpowiedź zajęła około 15 ms na procesorze, mniej więcej 20 razy szybciej niż Jev.

Widać tu dwie rzeczy. Po pierwsze, zdestylowany model lokalny potrafi utrzymać zgodność powyżej 99%, obsługując większość ruchu, i właśnie to Ollama pakuje teraz jako jeden endpoint. Po drugie, w demie Jevstillera na 5 000 wiadomości minęło około 4 000 zapytań, zanim model lokalny przejął ruch. Nimble od Bespoke przychodzi już wytrenowany, więc układ jest inny: bez rozgrzewki, ale też bez dopasowania do twoich etykiet.

W tym samym tygodniu wciąż pojawiały się małe modele działające na urządzeniu. Fulcrum wydało Echo, model do pisania, który według firmy bije modele frontier w naśladowaniu stylu, a trening kosztował mniej niż 5 000 dolarów. Fermion Research wypuściło Phonon-2, model rozpoznawania mowy angielskiej w pliku do pobrania o rozmiarze 164 MB, ze średnim błędem słowa 5,21% na siedmiu angielskich zestawach Open ASR Leaderboard; każdy lepszy otwarty model jest co najmniej 5,8 razy większy. Clarity od KugelAudio robi wzmocnienie mowy i ekstrakcję głównego mówcy w krótkich fragmentach, z około 50 ms przetwarzania na fragment.

Żaden z nich nie konkuruje bezpośrednio z Nimble. Pokazują jednak ten sam wzorzec: wąskie zadanie, mały model i budżet opóźnienia liczony w milisekundach, nie w sekundach. Wprowadzenie Embed 5 od Cohere tego samego dnia to zakład w drugą stronę: model wyszukiwania z kontekstem 128 000 tokenów w cenie 0,12 dolara za milion tokenów w wersji Pro i 0,08 dolara w Fast, przy czym oba poziomy dzielą jedną przestrzeń osadzeń.

Pomysł na modele decyzyjne ma też niewygodną stronę. Model, który zwraca typowaną odpowiedź i prawdopodobieństwo, zachęca do automatyzacji decyzji. Badania opisane w Substacku Lauren Leek pokazały, że jedenaście modeli, testowanych na około 3 000 prawdziwych pytań o poradę w benchmarku ELEPHANT, przytakiwało pytającemu w 72% przypadków wobec 22% u ludzi, a odmawiało bezpośredniej rekomendacji w 84% przypadków wobec 21%. To porada, nie segregacja zgłoszeń, ale tryb awarii ma ten sam kształt: pewna odpowiedź, która nie jest odpowiedzią, której chciałeś.

Ollama zapowiada kolejne modele decyzyjne, w tym serwowane z jej chmury. tev1:0.8b od Together jest już oznaczone jako eksperymentalne. Ani Ollama, ani TypeSafe nie powiedziały, co stanie się z cennikiem Jev, jeśli lokalne modele decyzyjne przejmą ruch o dużej skali.

Na razie pytanie praktyczne jest wąskie. Jeśli twój przypadek to klasyfikuj i działaj, z budżetem opóźnienia w milisekundach albo na maszynie bez połączenia wychodzącego, Ollama 0.35 daje wspierany sposób, żeby to uruchomić. Jeśli twoje etykiety są specyficzne dla twojego biznesu, a ruch duży, proxy destylujące na bazie Jev może nadal bić model ogólny. Jedno nie wyklucza drugiego i nic w obu wydaniach nie stoi na przeszkodzie, żeby używać obu.

Komentarze 0

Źródła

9
  1. 01Ollama now supports Jev-style decision modelsEN
  2. 02Ollama library: nimbleEN
  3. 03Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  4. 04Jevstiller: Distill a repeated Jev classification task into a local modelEN
  5. 05Echo – A SOTA writing model for style imitationEN
  6. 06Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  7. 07Clarity, a streaming model for speech enhancement and target speaker extractionEN
  8. 08Cohere: Embed 5 – A New Family of Frontier Embedding ModelsEN
  9. 09I Outsource My Biggest Decisions to a Chatbot – and None of the Small OnesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.