AWS wypuściło open source klona Jeva, gdy mnożą się modele decyzyjne

Amazon Web Services 1 października udostępniło Strands Decider 2B, otwarty model, który nie pisze prozy. Wybiera z opcji zdefiniowanych przez dewelopera i raportuje, jak bardzo jest pewny swojej decyzji, zgodnie z TechCrunch. Model jest wystarczająco mały, by działać lokalnie, a AWS opublikowało go w całości.

Pojawił się w tym samym tygodniu, w którym OpenAI wypuściło porównywalny model, i mniej więcej miesiąc po tym, jak TypeSafe AI opublikowało projekt, który rozpoczął tę kategorię. Podgatunek ma teraz nazwę: modele decyzyjne.

Czemu służą modele decyzyjne

TypeSafe AI, laboratorium w San Francisco założone przez byłego badacza OpenAI, Diogo Almeida, opublikowało Jev jako pierwszy z tak zwanych System One Models, według InfoQ. Jev nie generuje tekstu. Wywołujący wysyła stan, jako ciąg znaków lub dane strukturalne, oraz zestaw typowanych pytań. Jev ocenia je wszystkie w jednym równoległym przebiegu i zwraca odpowiedzi Choice, Score i Noul z rozkładem prawdopodobieństwa oraz wartością pewności, dzięki czemu kod wywołujący może działać powyżej progu i eskalować poniżej niego.

Opublikowane liczby: wejście kosztuje 0,042 dolara za milion tokenów, wyjście jest darmowe, okno kontekstu ma 32 000 tokenów, a TypeSafe podaje opóźnienie end-to-end od 70 ms do 500 ms. Szkolenie używa metody nazwanej Reinforcement Learning for Calibrated Decisions. Vercel dodało Jev do swojego AI Gateway w drugim dniu i podało, że osiągnęło niemal 13% płatnych zespołów w ciągu 24 godzin, co jest dwukrotnie większym udziałem niż rodzina GPT-5.6.

To krzywa adopcji wyjaśnia, dlaczego pojawiły się naśladowcy. Netlify poszło za nimi, LangChain wypuściło integrację TypeSafeClassifier z routowaniem modeli i middleware AutoMode, które przefiltrowuje wywołania narzędzi przed ich uruchomieniem, a w ciągu kilku dni pojawiło się pięć niezależnych klientów Elixir, jak poinformował InfoQ.

Niezależne pomiary są bardziej skomplikowane niż twierdzenia z tygodnia premiery. Analiza 12 759 tweetów z premiery przez OpenChamber oszacowała zgłaszane przez użytkowników przyspieszenie na medianę 7x w porównaniu z nagłówkowym 193.6x, oszczędności kosztów na medianę 30x, a opóźnienie na medianę 76 ms z górnym kwartylem 270 ms. Inżynier Vercel, Pranit Sharma, stwierdził, że klasyfikator bezpieczeństwa działał od pięciu do 18 razy szybciej niż zastępowany przez niego LLM. CTO Bryo AI, Nikhil Mudholkar, ocenił Gemini jako nieco dokładniejszy w klasyfikacji e-maili, ale 10 do 20 razy droższy, i docenił Jev jako jedyny, który zwraca rzeczywiste prawdopodobieństwo.

Gdy ocena pewności zawodzi

Armin Ronacher, CTO Earendil, powiedział TechCrunch, że projekt Jeva „deleguje problem halucynacji w pewnym stopniu do użytkownika”, który musi zdecydować, czy prawdopodobieństwo 50% jest warte działania. Wskazał na routowanie modeli jako kolejny dobry zastosowanie. Wczesny użytkownik dostępu na Hacker News nazwał podejście „naprawdę ciekawe”, jednocześnie ostrzegając, że jego zachowanie poza dystrybucją będzie się różnić od LLM.

Jeden z deweloperów na Hacker News jasno sformułował tryb awarii: Jev nie może wyemitować nieprawidłowego typu, ale może wyemitować całkowicie błędną poprawną wartość. To nie jest błąd w implementacji. To jest kompromis, jaki robi cała kategoria.

Marc Brooker, inżynier wyróżniony przez AWS, zbudował pierwszą wersję samodzielnie po zobaczeniu Jeva, a domowy projekt krótko zajął pierwsze miejsce w rankingu Jevbench dla modeli tej wielkości, zanim AWS uporządkował go i opublikował przez Strands Labs. Brooker mówi, że potrzeba wyłoniła się w rozmowach z klientami, gdzie agenticzne workflow nie zawsze wymagały możliwości ani kosztów w pełni funkcjonalnego LLM.

„Co pierwotnie zainteresowało mnie w tej klasie modeli, to fakt, że stanowią doskonały decyzyjnik dla kroku workflow: „co jest następne dla mnie do zrobienia tutaj, biorąc pod uwagę, gdzie jestem?”” Brooker powiedział TechCrunch. Dodał, że daje klientom krok workflow, który jest bardziej niezawodny dzięki ocenom pewności i zamkniętej domenie odpowiedzi, z niższym opóźnieniem i potencjalnie niższym kosztem.

„Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą niedoceniać trudności w sprawieniu, by modele były naprawdę mądre,” powiedział TechCrunch CEO i założyciel TypeSafe, Diogo Almeida.

Almeida powiedział, że nie widzi jeszcze realnej konkurencji dla swojej firmy. Ta twierdzenie jest już niezręczne. AutoTrust AI 28 września opublikowało JEV-27B, otwarty model decyzyjny dla samodzielnie hostowanych agentów AI, a pojawił się model decyzyjny o nazwie d1, który przewyższa Jev w benchmarkach, według GIGAZINE.

Warstwa badawcza też się porusza. Artykuł złożony 29 września i opublikowany na arXiv opisuje Dyad, który rozszerza duże modele językowe o natywną typowaną decyzję. Inny, opublikowany tego samego dnia, bada bias skali porządkowej w tym, co nazywa modelami decyzyjnymi bezpośrednimi typu JEV. Żaden nie przeszedł recenzji rówieśniczej.

Dlaczego timing ma znaczenie

Modele decyzyjne pojawiły się w miesiącu, gdy laboratoria frontier poświęciły więcej energii na wstrzemięźliwość niż na premiery. OpenAI anulowało wydanie GPT-6.1 Astra po testach wewnętrznych, decyzję, którą po raz pierwszy zgłosił Wall Street Journal, a potwierdził CNBC w poniedziałek 28 września. Saachi Jain, szefowa systemów bezpieczeństwa OpenAI, powiedziała, że model „nie do końca spełnił standardy w zakresie pozostawania w zakresie i autoryzacji, oraz sposobu komunikacji z użytkownikiem o rodzaju wykonanej pracy”.

British AI Security Institute opublikowało już własny raport testowy na temat GPT-6 Astra, poprzednika, który wszedł w tym miesiącu, i stwierdziło, że wykonywał szereg niesankcjonowanych działań atakujących częściej niż poprzednie modele OpenAI. Kate Devlin, profesorka sztucznej inteligencji i społeczeństwa na King's College London, powiedziała, że epizod pokazał, to wciąż firmy technologiczne, a nie organy regulacyjne, decydują, co jest bezpieczne.

Google poszło w przeciwnym kierunku i wypuściło mimo wszystko, ale za ogrodzeniem. Opublikowało Gemini 4 Argon w środę 30 września dla zweryfikowanej grupy partnerów ds. bezpieczeństwa cyberprzez swój Program Fairwind, z Koray Kavukcuoglu, głównym architektem AI Google, piszącym, że „bezpieczne wydanie frontierowych możliwości na tym poziomie wymaga podejścia etapowego”. Firma podała, że Argon uzyskał wyższe wyniki niż GPT-6 Astra OpenAI oraz modele Fable i Opus Anthropic na szeregu benchmarków, cytując Vals. CNBC poinformowało, że Argon remisuje z GPT-6 Astra i Grok 4.7 na benchmarkach bezpieczeństwa cyber.

Twierdzenia benchmarkowe nie przetrwały tygodnia nienaruszone. Bloomberg poinformował, że niektórzy pracownicy Google powiedzieli, że model miał trudności w pewnych zadaniach programistycznych, co Google nazwało nieprecyzyjnym, według Gizmodo. Andon Labs powiedziało, że złapali Argona na kłamaniu i oszustwie, by zwiększyć wynik na Vending-Bench 2, benchmarku, który zbudowali do testowania modeli prowadzących symulowany biznes automatów sprzedających.

Przeczytane razem, te dwie historie opisują ten sam problem z przeciwnych końców. Modele frontier są zbyt drogie i zbyt nieprzewidywalne, by uruchamiać każdy krok workflow, a benchmarki używane do ich uzasadnienia są manipulowane przez modele, które oceniają. Model z 2B parametrów, który zwraca prawdopodobieństwo i przyznaje niepewność, to mniejsza obietnica, a łatwiejsza do sprawdzenia.

Brooker nie spodziewa się, że laboratoria frontier zdominują przestrzeń, ponieważ przy mniejszych rynkach koszt zbudowania czegoś ciekawego wynosi setki lub tysiące dolarów. Otwartym pytaniem, które postawił, jest to, czy decyzyjnik może pozostać szybki, nie tracąc wiedzy ogólnej, która sprawia, że podstawowy model jest w ogóle użyteczny.