Beam obiecuje 501 mld parametrów i 3-4x mniej obliczeń na wnioskowanie niż GLM 5.2

Liczby pojawiły się przed modelem. W wpisie zapowiadającym premierę Reflection opisuje Beam jako rzadki model mixture-of-experts o 501 mld parametrów, z których 23 mld jest aktywnych. Model ma obsługiwać kodowanie, rozumowanie i zadania agentowe. Firma podaje, że Beam przechodzi jeszcze „finalne testy red team i ewaluacje”. Wagi, raport techniczny, karta modelu i narzędzia dla deweloperów mają się pojawić „później w tym miesiącu”.

Na razie wszystko jest więc deklaracją na wykresie.

Liczby dotyczące trenowania są konkretne. Reflection podaje, że pretrenowanie objęło 23,8 bln tokenów z sieci i z licencjonowanych zbiorów własnych. Potem firma przeprowadziła etap uczenia ze wzmocnieniem, który dał ponad 100 mln przebiegów na 10,5 tys. GPU NVIDIA GB300 w ciągu czterech tygodni. Firma traktuje ten etap RL jako swoją przewagę, nie zbiór danych do pretrenowania. Otwarte pozostaje pytanie, czy opublikowane wyniki się utrzymają, gdy niezależni testerzy dostaną wagi. W pierwszym tygodniu października nie da się na to odpowiedzieć.

Co naprawdę mówi tabela testów

Tabela porównawcza stawia Beam obok Inkling, Nemotron 3 Ultra, GLM 5.2, GLM 5.3, Kimi K3, Qwen 3.8 Max i DeepSeek V4.1 Flash. Najmocniejszy wynik Beam to SWE Bench Pro v2-Hard na poziomie 77,2. To więcej niż 56,9 Inkling i 62,1 GLM 5.2, ale mniej niż 88,2 Kimi K3. W Terminal Bench v2.1 Beam ma 80,1 wobec 88,2 dla GLM 5.3 i 90,6 dla DeepSeek V4.1 Flash. W SWE-bench Verified podaje 80,9, bez liczby dla trzech chińskich modeli w tym wierszu.

Reflection nie twierdzi, że ma przewagę w możliwościach, i pisze to wprost: Kimi K3 „pozostaje z przodu pod względem surowych możliwości”. Argument dotyczy efektywności. Na zaawansowanych testach rozumowania Reflection podaje, że Beam dorównuje GLM 5.2 „zużywając 3-4x mniej obliczeń na wnioskowanie”. Firma twierdzi, że różnica rośnie w porównaniu z modelami z rodziny ponad 2 bln parametrów, takimi jak Qwen 3.8 Max. W wierszu AIME 2026 Beam ma 97,8 wobec 99,2 dla GLM 5.2. HLE z narzędziami daje Beamowi 51,2 wobec 62,5 dla GLM 5.3 i 63,9 dla DeepSeek V4.1 Flash. To nie są zwycięstwa i firma tak ich nie przedstawia.

Twierdzenie o efektywności opiera się na własnym pomiarze obliczeń na wnioskowanie, a wpis nie mówi, jak ten pomiar powstał.

Gęsty tydzień pomiarów

Beam nie był jedynym testem opublikowanym 5 października. GitHub tego samego dnia wydał ReviewBench, otwarty test porównawczy do oceny kodu przez AI. Podstawą była analiza 103,9 mln pull requestów na GitHubie. Sam zbiór to 219 pull requestów z 187 publicznych repozytoriów open source w 19 językach. GitHub podaje, że starsi inżynierowie niezależnie oznaczyli złote trafienia pozytywne przed publikacją. Twierdzi, że wewnętrzna ocena przeglądu kodu w Copilocie lepiej śledzi teraz eksperymenty produkcyjne. Zbiór danych jest publiczny.

Veris opublikował tego samego dnia ranking agentów głosowych z mniej pochlebnym wynikiem dla kategorii. W jego VAmoS Pro Bench telewizor grający za plecami dzwoniącego obniżył łączny wskaźnik ukończonych zadań z 38,7% do 8,6%. Dziewięć z czternastu stosów głosowych ukończyło mniej niż 5% rozmów z telewizorem. Najlepszy stos na liście, phonic, osiągnął 57,5% ukończonych zadań przy opóźnieniu 1,42 sekundy; Grok Voice był drugi z 44,7%. Veris sprzedaje usługi testowania, o czym warto pamiętać, czytając jego własny ranking.

Jest jeszcze wątek małych modeli, który całkowicie podważa ramę wielkich modeli. Projekt na GitHubie o nazwie Jeff-Code umieszcza model decyzyjny o 0,8 mld parametrów w pętli agenta wokół Qwen 3.8-27B, modelu o 27 mld parametrów. Podaje 1 242 sparowanych zadań przy wskaźniku zaliczeń 62,4% wobec 62,8% dla samego Qwen, a czas na zadanie wynosi 0,68x. Przedział ufności dla wskaźnika zaliczeń biegnie od -2,6 do +2,1 punktu. To samo repozytorium mówi otwarcie, gdzie zawodzi. Nie widać wyraźnego przyspieszenia w Terminal-Bench 2.0 (0,96x) ani w SkillsBench (0,91x), a około 5% zadań trwało ponad 30 minut dłużej niż w wariancie bazowym.

Alternatywa dla większego modelu

d1 od Liquid AI, ogłoszony 5 października, stawia pokrewny zakład z drugiej strony. To model decyzyjny: czyta tekst, obrazy albo jedno i drugie w jednym przebiegu i zwraca prawdopodobieństwa zamiast generować tokeny. Decyzja na tekście zajmuje od 200 do 300 ms. Liquid podaje, że d1 dorównuje GPT-6.1 Sol lub go bije w czterech z sześciu testowanych zastosowań, przy koszcie od 19x do 200x niższym. To liczby dostawcy na zadaniach wybranych przez dostawcę.

Wzorzec we wszystkich tych premierach jest ten sam. Twierdzenia o możliwościach coraz trudniej oddzielić od twierdzeń o koszcie. Koszt zwykle mierzy ten, kto model sprzedaje.

Sean Goedecke przedstawił strukturalną wersję tego argumentu w tekście z 5 października o tak zwanych modelach System One, takich jak Jev. Jego punkt: ogólny klasyfikator używany z promptem generuje dokładnie te oznaczone dane, których potrzeba, żeby wytrenować tańszy, węższy klasyfikator do tego samego zadania. „W poważnej pracy konkretny, ręcznie zbudowany klasyfikator zawsze będzie tańszy i szybszy niż Jev”, pisze. Jeśli to się utrzymuje, wyścig o efektywność na froncie jest po części wyścigiem o zbudowanie własnego następcy.

Czego brakuje w obrazie Beam

Wpis Reflection zawiera wiersz o nazwie AA Omniscience, oznaczony „tylko publiczny podział (nasze wyniki)”. Beam ma tam 13,0 wobec 22,6 dla GLM 5.3 i 14,2 dla Inkling. To jedyny wiersz, w którym własne testy firmy stawiają ją za modelem, któremu gdzie indziej dorównuje. Etykieta sugeruje, że porównanie nie jest jak do jak. Kilka innych komórek ma NR, czyli nie podano. Tabela z lukami przy premierze jest normalna; nie jest też dowodem.

Niezależna infrastruktura oceny pojawia się w tym samym czasie. UC Riverside opublikowało badanie 23 września, z którego wynika, że pewność siebie i poprawność biorą się z różnych cech wewnętrznych dużych modeli językowych. Praca wykorzystała Llama-3.1-8B od Meta, model o 8 mld parametrów, i Gemma-2-9B od Google, model o 9 mld parametrów. Het Patel, główny autor, powiedział, że główne założenie dziedziny mówi, iż pewność przewiduje poprawność, a kontrprzykłady są dobrze udokumentowane. Tłumienie cech związanych wyłącznie z niepewnością ostro obniżyło dokładność. To sugeruje, że sygnały wewnętrzne są splątane w sposób, którego wynik testu nigdy nie pokaże.

Nic z tego nie rozstrzyga, czy Beam jest dobry. Rozstrzyga, co by to rozstrzygnęło: wagi, raport techniczny i ktoś bez interesu w wyniku, kto uruchomi te same testy. Reflection zapowiada wszystkie trzy w tym miesiącu. Do tego czasu liczba 501 mld i twierdzenie o 3-4x mniejszych obliczeniach to komunikat prasowy z dołączoną tabelą.