Małe modele idą lokalnie: nowe narzędzia i otwarte wagi 501 mld parametrów zmieniają AI na urządzeniach

Reflection przedstawiła Beam, swój pierwszy model z otwartymi wagami, 5 października.

Rzadka architektura Mixture-of-Experts ma 501 000 000 000 parametrów łącznie, z czego 23 000 000 000 pracuje aktywnie. Model powstał do kodowania, rozumowania i zadań agentowych. Według bloga firmy Beam trenowano wstępnie na 23 800 000 000 000 tokenów. Przebieg uczenia ze wzmocnieniem o wysokiej mocy obliczeniowej wygenerował ponad 100 000 000 prób na 10 500 kartach NVIDIA GB300 w ciągu czterech tygodni.

Argumenty za wnioskowaniem lokalnym

Beam celuje w wydajność wnioskowania, a nie w samą wielkość.

Firma twierdzi, że osiąga wyniki porównywalne z GLM-5.2, zużywając 3 do 4 razy mniej mocy obliczeniowej na wnioskowanie. W zadaniach kodowania zbliża się do Qwen 3.8-Max. Tam, gdzie modele frontier, jak Kimi K3, wciąż mają przewagę w czystych możliwościach, atutem Beam jest koszt na token. Wagi nie są jeszcze publiczne, trwa końcowy red teaming. Reflection udostępni wagi, raport techniczny i kartę modelu w tym miesiącu.

Premiera zbiega się z falą narzędzi, które czynią naprawdę małe modele, te z przedziału 8 000 000 000 do 35 000 000 000 parametrów, praktycznymi w codziennej pracy deweloperskiej. Nie chodzi tylko o oszczędność. Chodzi o opóźnienie, prywatność i uruchamianie agentów na sprzęcie, który masz.

Narzędzia, które naprawiają doświadczenie małych modeli

Reika to CLI agenta kodującego zaprojektowany przede wszystkim pod małe modele lokalne. Celuje w modele od 8 000 000 000 do 35 000 000 000 parametrów, często skwantyzowane do Q2 lub Q4, z oknami kontekstu od 16 000 do 32 000 tokenów. README opublikowane 5 października zaznacza, że harness ostrożnie obchodzi się z kontekstem i kończy pracę z lepszym komunikatem błędu. Mówi, kiedy utknął. Projekt jest przed wersją 1.0, więc polecenia i ustawienia mogą się jeszcze zmienić. W testach modele 14 000 000 000 do 35 000 000 000 parametrów najpewniej radziły sobie z zadaniami wieloplikowymi. Modele 8 000 000 000 do 9 000 000 000 parametrów dawały radę z prostymi, dobrze ograniczonymi. Poniżej 7 000 000 000 parametrów rzadko zachodziły daleko.

Deweloperzy opublikowali swoje wnioski w docs/findings.md.

Jedno przepisanie w środku kontekstu przetworzyło ponownie 8 453 tokeny promptu, co kosztowało 7,9 minuty prefillu. Dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. Zarządzanie kontekstem po stronie harnessa kosztowało więcej niż sam model. Odkryli też, że sformułowanie promptu jest najsłabszą dźwignią. Przy niejasnym zadaniu w Q2 model zbiega albo wchodzi w spiralę mniej więcej pół na pół, a harness nie potrafi zmienić tego wskaźnika. Może tylko obniżyć koszt przegranej połowy.

Jeff-Code podchodzi inaczej. To fork Pi, agenta kodującego Mario Zechnera. Wstawia Jeffa, model decyzyjny o 800 000 000 parametrów, do pętli agenta. Wokół każdej tury Qwen Jeff podejmuje dwie szybkie decyzje po około 0,2 sekundy. Rozstrzyga, czy sam wykona następny krok, na przykład odczyta plik albo uruchomi testy. Pisanie i edycja plików zawsze zostają przy większym modelu. Decyduje też, czy Qwen musi myśleć intensywnie. Myślenie pozostaje wyłączone, chyba że prawdopodobieństwo Jeffa, iż tura wymaga pełnego myślenia, osiągnie 0,6. W ewaluacji około trzech czwartych tur Qwen działało z wyłączonym myśleniem.

Wyniki są konkretne. Na sparowanych zadaniach Jeff-Code osiągnął 62,4% skuteczności wobec 62,8% dla samego Qwen 3.8-27B. Różnica w parach wyniosła minus 0,2 punktu, z 95-procentowym przedziałem od minus 2,6 do plus 2,1. Czas na zadanie spadł do 0,68 razy wartości bazowej. Łączny czas wszystkich zadań wyniósł 0,86 razy. To przyspieszenie o 47%, czyli 32% mniej czasu, przy tej samej skuteczności. Przyspieszenie jest mniej wyraźne na Terminal-Bench 2.0, gdzie stosunek wyniósł 0,96.

Modele decyzyjne i nowa architektura

Liquid AI przedstawiła d1, swój pierwszy model decyzyjny, który obsługuje teraz tekst i obrazy.

Model decyzyjny odpowiada na pytania o sytuację prawdopodobieństwem dla każdej możliwej odpowiedzi. Przyjmuje dane nieustrukturyzowane i jedno lub więcej pytań, czyta je w jednym przebiegu w przód i zwraca prawdopodobieństwa bez generowania tokenów. Decyzja tekstowa zajmuje od 200 do 300 milisekund. Liquid AI przetestowała d1 przeciw GPT-6.1 Sol i Claude Opus 5.5 na sześciu rzeczywistych zastosowaniach. d1 dorównuje GPT-6.1 Sol lub go bije w czterech z nich. Kosztuje 19 do 200 razy mniej niż oba modele i odpowiada znacznie szybciej w każdym zadaniu.

Sean Goedecke, który pisał o modelu System One Jev, przekonuje, że takie modele mogą trenować własne zamienniki. Gdy uzna się, że klasyfikator Jev działa dobrze, można zebrać jego dane wejściowe i wyjściowe. Następnie da się wytrenować na nich konkretny, ręcznie zbudowany klasyfikator. Nie będzie ogólny, ale powinien dobrze wypadać w swoim zadaniu i być znacznie szybszy. Ten wzorzec, destylacja ogólnego modelu System One do wyspecjalizowanego klasyfikatora, prawdopodobnie stanie się częsty.

Interfaze AI udostępniła Interfaze 1 Lite, model o mieszanej architekturze przeznaczony do zadań deweloperskich. To nie jedna sieć. To rdzeń rozumujący plus specjaliści, każdy dobrany do zadania, w którym jest najlepszy. Cały model działa na jednej karcie 80 GB bez zewnętrznych usług. Obsługuje rozumienie dokumentów, transkrypcję mowy, ugruntowanie wizualne i wyjście strukturalne. Nagranie 95 minut transkrybuje w około 90 sekund. Wspiera 14 języków w wielojęzycznym rozumowaniu przy kontekście 131 000 tokenów. Uzyskuje 83,8 na olmOCR-Bench i 81,5 na Structured Output Benchmark.

Wnioskowanie na urządzeniu i prywatność

Dążenie do modeli lokalnych nie dotyczy tylko wydajności. Chodzi o to, żeby dane zostały na urządzeniu.

Dictate to aplikacja do notatek głosowych na iPhone'a i Apple Watch, która działa w całości na urządzeniu. Korzysta z Parakeet, otwartego modelu mowy, do transkrypcji 25 języków europejskich. Apple Intelligence tworzy na iPhonie wersję do czytania, usuwa słowa wypełniające i rozwiązuje poprawki wypowiedziane na głos. Dźwięk nigdy nie opuszcza telefonu. Nie ma serwera, konta ani analityki. Jedyne miejsce, do którego może trafić transkrypt, to zdefiniowany przez użytkownika webhook, jeśli go włączono.

JeffyClassify oferuje klasyfikatory tekstu w 51 językach, które działają na CPU. Wielojęzyczne klasyfikatory korzystają z wielojęzycznego kodera zdań. Każdy klasyfikator ma około 100 KB. Koder jest wspólny. Trenowano je na Amazon MASSIVE w 22 minuty na CPU. Istnieją też wyspecjalizowane klasyfikatory do zadań takich jak wykrywanie spamu SMS, który osiąga 99,1% dokładności, oraz klasyfikacja rozgrywki Doom w czasie rzeczywistym za pomocą regresji logistycznej, bez sieci neuronowej i GPU.

Tło i kontekst

Te wydarzenia wpisują się w szerszą zmianę. Python Language Summit w 2026 roku omawiał Rust dla CPython, projekt mający poprawić wydajność i bezpieczeństwo. David Hewitt, występujący jako ambasador projektu, zauważył, że liczba problemów z awariami typów w CPython stale rośnie. Rust mógłby je ograniczyć. Propozycja zakłada, że dystrybutorzy Pythona spróbują użyć opcjonalnego wsparcia Rust w Pythonie 3.16, oczekiwanym w październiku 2027 roku. Ta praca nad infrastrukturą techniczną wspiera ekosystem, na którym opierają się małe modele.

Tymczasem badanie z UC Riverside pod kierunkiem Heta Patela wykazało, że pewność siebie i poprawność w dużych modelach językowych wynikają z różnych cech wewnętrznych. Podważa to założenie, że pewność modelu jest wiarygodnym wskaźnikiem trafności. Identyfikując te cechy, badacze mogą dostroić modele, by były ostrożniejsze, gdy prawdopodobnie się mylą. To krok w stronę tego, by małe, lokalne modele były bardziej godne zaufania w rolach decyzyjnych.

Społeczność open source reaguje też na nowe modele wideo. MiniMax udostępniła wagi modelu H3 3 sierpnia. Trzy dni później model trafił na szczyt listy trendów Hugging Face. H3 jest modelem wideo, ale jego premiera pokazała wartość otwartych wag w ekosystemie AI. Deweloperzy mogą model pobrać, wdrożyć, skwantyzować i zmodyfikować. Ten duch otwartego dostępu umożliwia obecną falę małych, lokalnych modeli działających na urządzeniach.

Dla deweloperów wybór jest jasny. Jeśli potrzebujesz możliwości frontier, sięgasz po duże modele hostowane. Jeśli potrzebujesz szybkości, prywatności lub kontroli kosztów, sięgasz po małe, lokalne. Narzędzia, które czynią drugą opcję realną, wreszcie nadchodzą.