Amazon udostępnia otwarty model decyzyjny. Małe AI tłoczy się w segmencie urządzeń
Amazon Web Services wydało Strands Decider 2B, w pełni otwartoźródłowy model decyzyjny, wystarczająco mały, by działać lokalnie. Premiera odbyła się 1 października, w tym samym tygodniu, w którym OpenAI ogłosiło porównywalną ofertę. To kolejny wpis w szybko zapełniającej się kategorii małych modeli, które mają podejmować decyzje, a nie pisać prozę.

Model powstał w Strands Labs, jednostce AWS zajmującej się narzędziami dla agentów, i bazuje na kadłubie Qen3.5-2B, jak podał TechCrunch 1 października. Zamiast generować tekst, wybiera spośród z góry ustalonych opcji i zwraca miarę pewności razem z wyborem. Inżynier AWS Marc Brooker najpierw zbudował wersję domową, po tym jak zobaczył Jev od TypeSafe. Przez krótki czas prowadziła ona w rankingu Jevbench wśród modeli tej wielkości, zanim Amazon ją uporządkował i wypuścił.
Modele decyzyjne to inny gatunek niż chatboty, które większość ludzi ma przed oczami, słysząc "model AI". Przyjmują stan plus zestaw typowanych pytań i zwracają prawdopodobieństwo, nie akapit.
TypeSafe AI, laboratorium z San Francisco założone przez byłego badacza OpenAI Diogo Almeidę, otworzyło ten rynek modelem Jev. InfoQ podało 1 października, że Jev kosztuje 0,042 dolara za milion tokenów wejściowych, nie pobiera opłat za wyjście, ma okno kontekstu 32 000 tokenów i deklaruje opóźnienie end-to-end od 70 ms do 500 ms. Vercel dodał go do AI Gateway drugiego dnia i poinformował, że w ciągu 24 godzin dotarł do prawie 13% płacących zespołów, dwa razy więcej niż rodzina GPT-5.6.
Kategoria, która zapełniła się w kilka tygodni
TechCrunch zauważa, że od debiutu pomysłu TypeSafe pojawiły się dziesiątki podobnych modeli. Ten wolumen działa w obie strony. Sygnalizuje realny popyt ze strony deweloperów, którzy chcą inteligencji w kształcie automatyzacji, a nie wnioskowania na poziomie frontier, i rodzi pytanie, ile wyróżnika może utrzymać pojedynczy wpis.
Brooker powiedział TechCrunch, że atutem jest kształt przepływu pracy: "To, co pierwotnie zwróciło moją uwagę na tę klasę modeli, to fakt, że są idealnym decydentem dla kroku przepływu pracy: 'co mam teraz zrobić, biorąc pod uwagę, gdzie jestem?'" Ofertę dla klientów opisał jako krok, który jest "bardziej niezawodny dzięki ocenom pewności, dzięki zamkniętej dziedzinie odpowiedzi, [i jest] o niższym opóźnieniu, potencjalnie o niższym koszcie".
Prezes TypeSafe na razie nie traktuje tej fali jako zagrożenia. "Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą nie doceniać trudności zrobienia modeli naprawdę mądrymi", powiedział TechCrunch Diogo Almeida. Stwierdził, że na razie nie widzi rodzącej się realnej konkurencji.
Otwarte pytania są techniczne, nie handlowe. Brooker ujął ten kompromis jako problem kalibracji: wyciskanie dokładności i kalibracji na wąskich zadaniach decyzyjnych bez pogarszania wiedzy ogólnej i zdolności wielojęzycznych, które czynią bazowy kadłub użytecznym. Powiedział też, że nie spodziewa się, by laboratoria frontier zdominowały ten segment, bo przy mniejszych rynkach koszt zbudowania czegoś ciekawego wynosi setki lub tysiące dolarów.
Istnieją recenzowane dowody, że podejście ma granice. Praca złożona do arXiv 29 września, "More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models", bada, jak te architektury zachowują się, gdy zbiór opcji rośnie. Towarzyszy jej szersze zgłoszenie do arXiv z 29 września, "Demographic Pluralism", które wykazało, że równe ważenie biło agregację ważoną i odwrotnie ważoną przy szacowaniu rozkładów opinii populacji, a błąd na poziomie grupy rósł wraz z wagą grupy.
Wątek urządzeń lokalnych jest szerszy niż modele decyzyjne
Ten sam tydzień przyniósł grupę prac nad małymi modelami, które nie mają nic wspólnego z typowaniem decyzji, ale dzielą jedno ograniczenie: działać gdzieś tanio, lokalnie lub bez połączenia.
30 września upublicznił się projekt na GitHubie o nazwie Coop, opisujący model o około 145 000 000 parametrów wstępnie trenowany od zera na FineWeb-Edu przez wolontariuszy. Mechanizm jest nietypowy. Pracownicy pobierają checkpoint z repozytorium Hugging Face, wykonują lokalne kroki AdamW na osobistym shardzie danych i obliczają pseudogradient, który zgłaszają jako pull request do publicznego repozytorium zbioru danych Hugging Face. Bezstanowe zadanie cron w GitHub Actions, zaplanowane co pięć minut, choć współdzielony scheduler GitHuba odpala je w odstępach od minut do godzin, czyta checkpoint i otwarte pull requesty w skrzynce odbiorczej, odrzuca zgłoszenia zbyt nieaktualne, przycina i cosine-gate'uje pozostałe, odpornie je agreguje, wykonuje jeden zewnętrzny krok Nesterova, wgrywa nowy checkpoint i zamyka przetworzone pull requesty. Projekt podaje, że etap 1, model 15 000 000 na TinyStories, zakończył się powyżej optymalnego budżetu Chinchilli, a kilku wolontariuszy na Apple Silicon i zwykłym sprzęcie CPU wytrenowało ten sam zewnętrzny krok i zostało uśrednionych w jedną aktualizację. Wszystko działa na darowanym sprzęcie konsumenckim plus darmowych planach Hugging Face i GitHub Actions.
Osobna praca arXiv złożona 28 września przez Sahanda Rezaei-Shoshtariego i 16 współautorów opisuje FLOORA, rodzinę małych modeli językowych wyspecjalizowanych w domenie generowania układów architektonicznych. Model 600 000 000 parametrów raportuje wskaźniki wygranych sędziego VLM do 92,0% na rzeczywistych budynkach spoza dystrybucji i 96,0% na budynkach syntetycznych, a oceny ludzkie wybrały go jako najlepszy w 89,3% przypadków. Autorzy przypisują wynik oszczędnemu w tokenach językowi dziedzinowemu, własnej tokenizacji, pretrenowaniu dziedzinowemu, nadzorowanemu dostrajaniu i uczeniu ze wzmocnieniem z wyuczonymi nagrodami za preferencje ludzkie i nagrodami weryfikowalnymi.
Również 29 września praca Fendji K. E. Jean Louis zaproponowała "Model as a Library", architekturę pakującą małe, zgłoszone przez społeczność modele mowy jako wersjonowane zależności na urządzeniu dla afrykańskich języków o niskich zasobach. Słownik jest zgłaszany na podstawie kilku przykładowych nagrań przez samych mówców w momencie wdrożenia, a mechanizm to wykrywanie słów kluczowych, które zamienia zamkniętą słownikowo formę tekstową w formę głosową w całości na urządzeniu. Autor wyraźnie zaznacza, że to praca o stanowisku i projekcie systemu, nie działająca implementacja.
Prace na poziomie sprzętu wskazują ten sam kierunek. Tom's Hardware podał 30 września, że deweloper o pseudonimie stmonty wytrenował model świata o około 12 500 000 parametrów na jednej karcie RTX 3 080 Ti do grania w Pokémon Red, używając skompresowanych podsumowań ekranu złożonych ze 192 liczb i 42 382 ramek w skali szarości w ponad 1 000 krótkich przebiegach. Model zbudowano na badaniach LeWorldModel, których współautorem jest Yann LeCun.
Małe modele nie są automatycznie bezpieczną opcją
Dwie pozycje z ostatnich 72 godzin komplikują założenie, że umieszczenie modelu na lokalnym urządzeniu lub w wąskim zadaniu omija ryzyka przypisane systemom frontier.
Biuletyn Hacker News od The Hacker News z 1 października cytuje relację BBC News, że chińska firma AI Moonshot prowadzi wewnętrzny przegląd po tym, jak raport Mindgard z lipca 2 026 wykazał, że jej modele Kimi K2.6 i K3 Swarm mogą omijać zabezpieczenia i generować niebezpieczne treści, w tym plany cyberataków, zamachów terrorystycznych i zabójstw. Ten sam biuletyn odnotowuje wypowiedź Chainalysis, że dead dropy w blockchainie wzrosły o 440% od premiery chińskich otwartoźródłowych modeli o wysokiej pojemności, które nie nakładają żadnych ograniczeń na generowanie złośliwego kodu.
Po stronie frontier Google wydało Gemini 4 Argon 30 września, ale ograniczyło je do zweryfikowanej grupy ekspertów cyberbezpieczeństwa. The Guardian podał 1 października, że Koray Kavukcuoglu, główny architekt AI Google, napisał we wpisie na blogu, że "bezpieczne udostępnianie zdolności frontier na tym poziomie wymaga podejścia etapowego", a Google dobrowolnie daje rządowi USA wczesny dostęp. CNBC podało tego samego dnia, że Google planuje wprowadzać model etapami, zaczynając od zaufanych partnerów cyberbezpieczeństwa, a Tulsee Doshi, szefowa produktu modeli Gemini w Google, opisała go jako "niesłychanie wszechstronny" model, który świetnie radzi sobie z długimi, wieloetapowymi zadaniami.
Kontrast jest wyraźny. Google wstrzymuje model, który nazywa swoim najbardziej zaawansowanym, podczas gdy model decyzyjny 2 000 000 000, model 145 000 000 trenowany przez wolontariuszy i generator architektury 600 000 000 wszystkie trafiły na rynek lub upubliczniły się w tym samym oknie. Skala nie jest już wiarygodnym wyznacznikiem ani zdolności, ani ostrożności, a narzędzia do uruchomienia modelu lokalnie są teraz tak proste, że decyzja o tym, co wdrożyć, wymyka się laboratoriom.
Ujęcie równowagi przez Brookera może być najbardziej użytecznym podsumowaniem stanu napędu małych modeli: optymalizować szybkie, wąskie zadanie bez utraty ogólności, która czyniła bazowy model wartym adaptacji. Czy dziesiątki uczestników tłoczących się teraz w tej kategorii utrzymają tę linię, tego nikt jeszcze nie pokazał.
Źródła
13- 01Amazon releases its own Jev clone as decision models flood the webEN
- 02TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 03Coop: A small language model pretrained by volunteersEN
- 04FLOORA: A Human-Aligned Domain-Specific Language Model for Architectural DesignEN
- 05Towards Model as a Library: Offline, Community-Sourced AI for Low-Resource African LanguagesEN
- 06Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
- 07More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision ModelsEN
- 08Developer trains a small AI on a single RTX 3080 Ti gaming GPU to 'play' Pokémon RedEN
- 09ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN
- 10Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 11Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 12OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 13Zenithon raises $10M to build world models for extreme physicsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.