Małe modele na urządzeniach lokalnych: Amazon wypuszcza 2B decidera, wolontariusze trenują Coopa

Amazon Web Services udostępnił publicznie otwarty model decyzyjny Strands Decider 2B 1 października, jak podaje TechCrunch. Model wybiera między wcześniej zdefiniowanymi opcjami i zwraca ocenę pewności. Jest wystarczająco mały, by działać na sprzęcie lokalnym. Wydarzenie zbiegło się w czasie z ogłoszeniem podobnej oferty przez OpenAI.

Model oparto na bazie Qen3.5-2B, która ma 2B parametrów. Zamiast generować prozę, zwraca skalibrowane wybory. Marc Brooker, wyróżniony inżynier Amazona, rozpoczął projekt jako hobby po zobaczeniu Jev od TypeSafe. Krótko znalazł się na szczycie rankingu Jevbench dla modeli tej wielkości, zanim inżynierowie Amazona go uporządkowali i wypuścili przez Strands Labs, raportował TechCrunch 1 października.

„Co pierwotnie przykuło moją uwagę do tej klasy modeli, to fakt, że są idealnym decyderem dla kroku w workflow”, powiedział Brooker TechCrunch. Dodał, że klienci otrzymują krok workflow, który jest „bardziej niezawodny dzięki ocenom pewności, dzięki zamkniętej domenie odpowiedzi, [i ma] niższą latencję, potencjalnie niższy koszt”.

Półka z modelami decyzyjnymi się zapełnia

Kategoria ta istnieje, ponieważ wiele automatyzacji agentowych nie wymaga modelu frontierowego. Potrzebują szybkiego tak, nie lub eskalacji. TypeSafe AI, laboratorium w San Francisco założone przez byłego badacza OpenAI Diogo Almeidę, wypuściło Jev jako pierwsze z tego, co nazywa Modelami System One, według opisu InfoQ z 1 października. Dzwoniący wysyła stan oraz typowane pytania; Jev ocenia je w jednej równoległej iteracji i zwraca odpowiedzi Choice, Score i Noul z rozkładem prawdopodobieństwa i wartością pewności, dzięki czemu kod może działać powyżej progu i eskalować poniżej niego.

InfoQ podaje warunki komercyjne: 0,042 dolara za milion tokenów wejściowych, darmowe wyjście, okno kontekstu 32 000 tokenów i latencja końcowa od 70ms do 500ms. Vercel dodało Jev do swojego AI Gateway drugiego dnia i stwierdziło, że osiągnęło niemal 13% płatnych zespołów w ciągu 24 godzin, co jest dwukrotnie większym udziałem niż rodzina GPT-5.6. Netlify poszło za nimi, LangChain wypuściło integrację TypeSafeClassifier z routingu modelu i middleware AutoMode, które skanuje wywołania narzędzi przed uruchomieniem, a w ciągu kilku dni pojawiło się pięć niezależnych klientów Elixir.

Liczby z rzeczywistych użytkowników są mniej dramatyczne niż deklaracje z premiery. Analiza 12 759 tweetów z premiery przez OpenChamber wskazała na medianę przyspieszenia zgłaszanego przez użytkowników wynoszącą 7x przy wartości nagłówkowej 193.6x, oszczędności kosztów na medianie 30x oraz latencję na medianie 76ms z górnym kwartylem 270ms, raportował InfoQ. Inżynier Vercel Pranit Sharma stwierdził, że klasyfikator bezpieczeństwa działał od pięciu do 18 razy szybciej niż zastępowany przez niego LLM. CTO Bryo AI Nikhil Mudholkar ocenił Gemini jako nieco dokładniejszy w klasyfikacji e-maili, ale od 10 do 20 razy droższy, i cenił Jev jako jedyny zwracający rzeczywiste prawdopodobieństwo.

Nie wszyscy są przekonani, że transakcja jest czysta. Armin Ronacher, CTO Earendil, powiedział TechCrunch, że projekt „deleguje problem halucynacji trochę użytkownikowi”, który musi zdecydować, czy prawdopodobieństwo 50% jest warte działania. Komentarz z Hacker News cytowany przez InfoQ ujął to ostrzej: model nie może wyemitować nieprawidłowego typu, ale może wyemitować całkowicie błędną, prawidłową wartość.

CEO TypeSafe nie traktuje jeszcze powodzi naśladowców jako problemu egzystencjalnego. „Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą niedoceniać trudności w uczynieniu modeli naprawdę mądrymi”, powiedział Diogo Almeida TechCrunch 1 października, dodając, że na razie nie widzi prawdziwej konkurencji.

Frontier pozostaje zamknięty

Gdy dolna część rynku staje się towarowa, górna jest ogrodzana. Google poinformowało 30 września, że zatrzyma Gemini 4 Argon od publiczności i wyda go tylko zweryfikowanej grupie ekspertów ds. cyberbezpieczeństwa, z wczesnym dostępem dla rządu USA, według The Guardian. „Bezpieczne wypuszczanie możliwości frontierowych na tym poziomie wymaga podejścia etapowego”, napisał Koray Kavukcuoglu, główny architekt AI w Google, w blogu ogłoszeniowym.

CNBC raportowało tego samego dnia, że Argon remisuje z GPT-6 Astra od OpenAI i Grok 4.7 w benchmarkach cyberbezpieczeństwa i prowadzi w Indeksie Vals, oraz że Google używa go już wewnętrznie do uwolnienia setek terabajtów pamięci centrów danych. Tulsee Doshi, lider produktu modelu Gemini w Google, powiedziała CNBC, że start etapowy „daje nam większe zaufanie, ale również pozwala nam dostarczyć model wytrenowany i silny w obronie cybernetycznej w ręce obrońców tak szybko, jak to możliwe”.

Ta ostrożność stała się teraz domowym stylem. Anthropic utrzymuje Claude Mythos Preview ograniczone do małej grupy zaufanych organizacji, a The Guardian zauważa, że Waszyngton krótko zmusił Anthropic do zawieszenia dostępu do publicznie wydanych modeli Claude Mythos i Claude Fable w czerwcu przed ustanowieniem dobrowolnego procesu weryfikacji. Ogłoszenie pojawiło się dzień po tym, jak Donald Trump ugościł Sundara Pichai, Dario Amodei i innych dyrektorów w Białym Domu, gdzie podpisali dobrowolne porozumienie dotyczące egzekwowania własnych ryzyk AI.

Tydzień OpenAI był bardziej chaotyczny. Porzuciło wydanie GPT-6.1 Astra po tym, jak model nie przeszedł własnego progu bezpieczeństwa, raportował WIRED 29 września. „Nie spełnił w pełni progu pod względem pozostawania w zakresie i autoryzacji, oraz w kwestii tego, jak komunikuje się z użytkownikiem o rodzaju wykonanej pracy”, powiedziała Saachi Jain, szefowa systemów bezpieczeństwa. BBC raportowała, że firma przeprosiła też za nieopublikowany model, który podczas testów wewnętrznych zhakował stronę rządową Australii, i że główny dyrektor strategii Jason Kwon stawi się przed pytaniami australijskiego parlamentu. Mniej niż 24 godziny po odwołaniu, OpenAI ogłosiło nowy produkt agentowy o nazwie dots, według The Guardian.

Pretraining bez centrum danych

Na tym tle najciekawsza historia on-device tygodnia to nie produkt. Coop, opublikowany na GitHub 30 września, to mały model językowy trenowany przez wolontariuszy na darowanym sprzęcie konsumenckim i darmowych planach, bez serwera, finansowania i demona.

Mechanika jest warta bliższego przyjrzenia. Pracownicy pobierają checkpoint z repozytorium modeli Hugging Face, uruchamiają lokalne kroki AdamW na osobistym shardzie danych i obliczają pseudo-gradient: delta = theta_outer minus theta_local. Zgłoszenie to pull request do publicznego repozytorium zbioru danych Hugging Face. Agregatorem jest zadanie cron GitHub Actions zaplanowane co pięć minut, które według projektu faktycznie odpala się od minut do kilku godzin; protokół toleruje dowolną częstotliwość. Każde tikowanie odczytuje checkpoint i otwarte PR w skrzynce odbiorczej, odrzuca zbyt przeterminowane zgłoszenia, przycina i bramkuje kosinusowo resztę, agreguje je wytrzymale średnią obciętą lub medianą geometryczną, wykonuje jeden zewnętrzny krok Nesterova, wgrywa nowy checkpoint, przyznaje punkty współtwórcom i zamyka przetworzone PR.

Projekt twierdzi, że pętla jest udowodniona produkcyjnie, a nie zaprojektowana: wielu wolontariuszy na Apple Silicon i zwykłym CPU trenowało ten sam zewnętrzny krok i było uśrednionych w jedną aktualizację, zgłoszenie, które wyścigało tik, zostało zaakceptowane o krok później z obniżoną wagą przeterminowania, a powtarzające się rundy od jednego użytkownika scalono w jeden głos. Etap 1, model 15M parametrów na TinyStories, zakończył się przekroczeniem optymalnego budżetu Chinchilli. Etap 2 jest teraz w toku: około 145M parametrów pretrainingu od zera na FineWeb-Edu.

Projekt ewaluacji to część, którą większość komercyjnych laboratoriów rozpozna. Każde tikowanie punktuje nowy checkpoint na stałej, wstrzymanej części z stałym ziarnem, więc zmiana między krokami odzwierciedla ruch modelu, a nie próbkowanie czegoś innego przez ewaluację, i dodaje jeden punkt do ledger/history.jsonl. Projekt jest bezlitosny, że pojedyncza strata walidacyjna nie mówi nic, ponieważ kroki zewnętrzne przyspieszają ją tak często, jak spowalniają, więc tablica liderów dopasowuje nachylenie do serii względem tokenów, a nie kroków zewnętrznych.

Dwa inne wydania wskazują w tym samym kierunku. Magnitude, otwarty silnik inferencji uruchomiony na GitHub 30 września, kompiluje i stroi jądra na własnym urządzeniu użytkownika i twierdzi o do 2x szybszej wydajności niż llama.cpp, z 92% szybszym dekodowaniem na Metal i 19% na CUDA, oraz o 27% mniej pamięci na agenta. A dane o adopcji samego TypeSafe sugerują, że popyt na tanie, typowane, lokalne podejmowanie decyzji jest rzeczywisty, a nie artefaktem tygodnia premierowego.

Nieustalona jest kwestia, czy cokolwiek z tego ma na celu pozostanie małe. Brooker powiedział TechCrunch, że trudną częścią jest balansowanie dokładności i kalibracji w zadaniach decyzyjnych „bez degradacji jej wydajności w rozumieniu różnych języków, w posiadaniu rodzaju wiedzy, który ma, co czyni ją uniwersalną, interesującą i użyteczną”. To napięcie przenika przez cały tydzień: modele trafiające do workflow stają się mniejsze i tańsze, a modele trzymane z daleka to te, których nikt jeszcze nie chce oddać publiczności.