Reflection Beam: model open-weight z 501 mld parametrów, wag wciąż brak, benchmarki własne

Wpis na blogu pojawił się 5 października i jest ostrożny w jednej sprawie: Beam nie jest gotowy. "Beam przechodzi końcowe testy red teamingowe i ewaluacje" - pisze firma, a wagi, raport techniczny, kartę modelu i materiały dla deweloperów obiecuje "w późniejszej części tego miesiąca". Wczesny dostęp odbywa się przez formularz zapisów.

Reflection opublikowało arkusz specyfikacji i tabelę wyników benchmarków, które samo przeprowadziło. To rozróżnienie ma znaczenie dla każdego, kto planuje sprawdzić model na własnych obciążeniach. W poście nie ma słowa o tym, kiedy powstaną niezależne testy.

Architektura to rzadki mixture-of-experts: 501 mld parametrów łącznie i 23 mld aktywnych na token, pretrenowane na 23,8 bln tokenów, które Reflection opisuje jako dane z sieci plus własne licencjonowane zbiory. Etap uczenia ze wzmocnieniem objął ponad 100 mln rolloutów na 10,5 tys. GPU NVIDIA GB300 w ciągu czterech tygodni treningu. To liczby samej firmy. Są też takie, które trudno sprawdzić z zewnątrz.

Obietnica wydajności jest sednem oferty

Reflection przedstawia Beam jako model do codziennej pracy, nie lidera frontier. W swojej tabeli Beam ma 80,9 na SWE-bench Verified wobec 77,6 dla Inkling i 70,7 dla Nemotron 3 Ultra. Na Terminal Bench v2.1 podaje 80,1, za GLM 5.3 z 88,2, Kimi K3 z 88,3 i Qwen 3.8 Max z 86,6.

Firma wprost przyznaje lukę w możliwościach. "Tam, gdzie frontierowe modele otwarte, jak Kimi K3, pozostają z przodu pod względem surowych zdolności, przewagą Beam jest wydajność na etapie inferencji" - czytamy we wpisie. Reflection twierdzi, że wyniki są porównywalne z GLM 5.2 na zaawansowanych benchmarkach rozumowania przy 3 do 4 razy mniejszym nakładzie obliczeń, a luka rośnie wobec modeli z rodziny powyżej 2 bln parametrów, takich jak Qwen 3.8 Max.

Jeśli to się potwierdzi, zmienia się rachunek dla zespołów, które na dużą skalę uruchamiają agentów kodujących. O tym, czy agent działa przy każdym pull requeście, czy tylko przy tych oznaczonych przez człowieka, decyduje koszt inferencji, nie miejsce w rankingu. To także nacisk na chińskie laboratoria modeli open-weight, które przewodziły w cenie za token. Nie wiadomo nadal, jaka będzie licencja i format wag oraz czy deklaracja wydajności przetrwa testy w zewnętrznym środowisku. Niczego z tego nie ma we wpisie.

Benchmarki mają własny intensywny tydzień

Wybbór momentu jest niezręczny w użyteczny sposób. Tego samego dnia GitHub opublikował ReviewBench, otwarty benchmark do oceny przeglądu kodu przez AI, zbudowany na analizie 103,9 mln pull requestów na platformie. Zbiór danych zawiera 219 pull requestów ze 187 publicznych repozytoriów open source w 19 językach, z rozkładem języków i rozmiarów repozytoriów dopasowanym do całego GitHuba. GitHub podaje, że starsi inżynierowie niezależnie oznaczyli złote trafienia pozytywne przed publikacją i że celowo przesunął rozkład rozmiaru pull requestów w stronę "środka i ogona poddającego się przeglądowi", zamiast dokładnie odwzorowywać platformę.

GitHub dodaje też, że benchmark poprawił jego zdolność przewidywania, czy zmiany w przeglądzie kodu Copilota pomogą w produkcji. To jest ciekawa część: benchmark używany wewnętrznie jako filtr przed wdrożeniem, a nie jako tabela liderów.

Mniejsze zespoły argumentują w tę samą stronę z drugiej strony. Wydanie dla deweloperów Jeff-Code z 5 października umieszcza model decyzyjny z 0,8 mld parametrów w pętli agenta kodującego Pi obok Qwen 3.8-27B. Na 1242 sparowanych zadaniach raportuje skuteczność 62,4% wobec 62,8% dla samego Qwen, czyli różnicę sparowaną minus 0,2 punktu przy przedziale ufności 95% od minus 2,6 do plus 2,1, a średni czas na zadanie spadł do 0,68 razy wartości bazowej. Projekt wyraźnie zaznacza, że przyspieszenie nie jest równomierne: podaje 0,96 razy na Terminal-Bench 2.0 i 0,91 razy na SkillsBench, co oznacza brak wyraźnego zysku w obu przypadkach.

Takie ujawnienie szczegółów zdarza się rzadziej, niż powinno. Sprawia też, że zbiorczej deklaracji łatwiej zaufać niż jednemu procentowi z nagłówka.

Modele decyzyjne, wizja i nacisk na małe modele

Liquid AI wykorzystało 5 października na premierę d1, który nazywa swoim pierwszym modelem decyzyjnym i pierwszym obsługującym obrazy oraz tekst. Modele decyzyjne zwracają prawdopodobieństwa dla zestawu pytań w jednym przejściu do przodu, zamiast generować tokeny. Liquid podaje, że decyzja tekstowa zajmuje 200 do 300 ms, że d1 dorównuje GPT-6.1 Sol lub go przewyższa w czterech z sześciu testowanych zastosowań i że kosztuje 19 do 200 razy mniej niż ten model oraz Claude Opus 5.5.

Firma raportuje 85 do 97% dokładności w sortowaniu dobrych i wadliwych części w demonstracji kontroli przemysłowej na publicznym zbiorze VisA i twierdzi, że model nigdy nie był trenowany do tego zadania. Podaje też usunięcie 52% tokenów w teście kompakcji kontekstu agenta kodującego przy zachowaniu wszystkich wyników potrzebnych do zadania. To liczby dostawcy, zmierzone przez dostawcę, i tak należy je czytać.

Ta sama ostrożność dotyczy Interfaze 1.1 Lite, modelu open-weight z mieszanką architektur, opublikowanego na Hugging Face 5 października. Łączy rdzeń rozumowania z modelami specjalistycznymi do dokumentów, mowy, segmentacji i prognozowania, a autorzy twierdzą, że całość działa na jednym GPU z 80 GB pamięci bez zewnętrznych usług. Publikowana tabela porównawcza daje mu 73,2 na MMMU-Pro wobec 71,1 dla Interfaze i 40,4 dla GPT-5.4-Mini oraz 3,01 współczynnika błędów słów na VoxPopuli-Cleaned wobec 2,4 dla Interfaze. Wyniki mieszane na własnej siatce dostawcy.

W tym samym klastrze Veris opublikowało 5 października ranking agentów głosowych zbudowany z 2694 symulowanych rozmów o rozliczeniach za media. Wyszło, że telewizor grający za plecami dzwoniącego obniżył łączną skuteczność realizacji zadań z 38,7% do 8,6%, a dziewięć z czternastu stosów głosowych ukończyło mniej niż 5% takich rozmów. Lider, Phonic, ukończył 57,5% zadań przy opóźnieniu 1,42 sekundy. Jeden test, zasady jednego przedsiębiorstwa, jak sama zauważa Veris.

Dlaczego brakujące wagi mają znaczenie

Deklaracja Reflection jest najdonioślejsza z całej paczki, bo dotyczy kosztu w skali. To także ta, której nikt spoza firmy nie może jeszcze sprawdzić. Firma zapowiedziała, że materiały pojawią się w tym miesiącu. Do tego czasu Beam jest obietnicą z liczbą parametrów w tle.

Pozostałe premiery tego dnia wskazują w tę samą stronę: mniejsze modele, modele specjalistyczne i środowiska, które decydują, kiedy duży model w ogóle musi myśleć. To tańszy kierunek niż kolejny bilion parametrów. Trudniej go też zmierzyć, dlatego otwarte zbiory danych publikowane razem z modelami mogą okazać się ważniejsze niż same modele.