Beam od Reflection liczy 501 mld parametrów i celuje w tańsze wnioskowanie

Beam to rzadki model typu mixture-of-experts. Trenowano go na 23,8 bln tokenów. Uczenie ze wzmocnieniem prowadzono przez cztery tygodnie na 10,5 tys. procesorów graficznych Nvidia GB300 i wygenerowało ono ponad 100 mln prób. Te liczby podało samo Reflection w swoim ogłoszeniu.

Reflection przekonuje, że nie chodzi o pozycję lidera testów, a o tańszy token. Na Terminal Bench v2.1 Beam zdobywa 80,1 punktu przy 88,3 dla Kimi K3 i 88,2 dla GLM 5.3. Na SWE Bench Pro v2-Hard ma 77,2, za GLM 5.3 z 84,3 i Kimi K3 z 88,2. Reflection przyznaje wprost, że czołowe modele otwarte, jak Kimi K3, wciąż są przed nim pod względem samych możliwości. Dla kupujących argument przesuwa decyzję zakupową: mniej chodzi o to, kto jest na szczycie tabeli, a bardziej o koszt jednego wykonanego zadania przy dużej skali. Reflection twierdzi, że Beam osiąga wyniki rozumowania porównywalne z GLM-5.2, zużywając 3 do 4 razy mniej obliczeń na wnioskowanie, i że przewaga rośnie w starciu z modelami powyżej 2 bln parametrów, takimi jak Qwen 3.8-Max.

Nikt spoza Reflection tego jeszcze nie sprawdził. Wagi, raport techniczny i karta modelu mają się pojawić później w tym miesiącu, a firma przyjmuje w międzyczasie zgłoszenia do wczesnego dostępu. Wyniki testów publikowane przez dostawcę przed niezależnymi testami trzeba czytać jako deklaracje, nie jako rezultaty.

Po stronie testów też się rusza

GitHub opublikował ReviewBench, otwarty test porównawczy do przeglądu kodu z AI, zbudowany na podstawie analizy 103,9 mln pull requestów. Sam zbiór danych to 219 pull requestów z 187 publicznych repozytoriów w 19 językach, a każde znalezisko oznaczono pod względem istotności i kategorii. GitHub podaje, że doświadczeni inżynierowie niezależnie zweryfikowali zbiór referencyjny i że test pomaga firmie przewidywać, czy zmiany w przeglądzie kodu Copilota sprawdzą się w środowisku produkcyjnym.

Liquid AI tego samego dnia wypuściło d1, swój pierwszy model decyzyjny, który zwraca prawdopodobieństwa zamiast generować tokeny. Liquid twierdzi, że decyzja tekstowa zajmuje od 200 do 300 milisekund, że d1 dorównuje GPT-6.1 Sol albo go bije w czterech z sześciu testowanych zastosowań i że kosztuje 19 do 200 razy mniej niż GPT-6.1 Sol lub Claude Opus 5.5. Te porównania znowu pochodzą od dostawcy.

Trzecie wydanie poszło w drugą stronę: mniejsze zamiast większego. Jeff-Code, fork agenta kodującego Pi, łączy model decyzyjny o 800 mln parametrów z Qwen 3.8-27B. Autor podaje 62,4% zdanych zadań przy 62,8% dla samego Qwena na 1 242 sparowanych zadaniach, a czas na zadanie wynosi 0,68 wartości bazowej. Przedział ufności 95% dla zdawalności sięga od minus 2,6 do plus 2,1 punktu, więc różnicy w jakości nie da się ustalić. Deklaracją jest szybkość.

Czego liczby nie rozstrzygają

Interfaze opublikowało Interfaze 1.1 Lite, model o mieszanej architekturze, który działa na jednym procesorze graficznym z 80 GB pamięci. Własna tabela firmy daje mu 85,9 na GPQA Diamond przy 92,4 dla Interfaze i 82,8 dla GPT-5.4-Mini oraz 83,8 na olmOCR-Bench przy 85,7 dla Interfaze. Stronę z samodzielnie zgłoszonymi wynikami na tle pięciu konkurentów trudno zweryfikować, ale wymóg jednego procesora graficznego to konkretne ograniczenie wdrożenia, które czytelnik może sprawdzić.

Zostaje pytanie, czy te testy mierzą to, czego potrzebują kupujący. Veris przepuścił 14 stosów głosowych przez 2 694 symulowane rozmowy na VAmoS Pro Bench i stwierdził, że łączna skuteczność wykonania zadania spadła z 38,7% do 8,6%, gdy za rozmówcą grał telewizor. Dziewięć z 14 stosów wykonało mniej niż 5% takich rozmów. Phonic prowadził w tabeli z 57,5% skuteczności; Grok Voice, którego strona wysuwa na pierwszy plan, był drugi z 44,7%.

Badacze z UC Riverside podali powód, by w ogóle nie ufać pewnym siebie odpowiedziom. W badaniu opublikowanym 23 września przyjrzeli się modelom Llama-3.1-8B firmy Meta i Gemma-2-9B firmy Google, liczącym odpowiednio 8 mld i 9 mld parametrów, używając rzadkich autoenkoderów, i odkryli, że cechy związane z pewnością siebie oraz cechy związane z poprawnością da się rozdzielić. Tłumienie cech niepewności ostro obniżało dokładność. Pewność siebie nie jest, innymi słowy, miarą tego, czy model ma rację.

Deklaracja Reflection o wydajności doczeka się takiego samego sprawdzenia, gdy pojawią się wagi. Do tego czasu w Beamie najbardziej użyteczny jest kształt argumentu: nie to, że wygrywa, ale to, że mniej kosztuje przegrać nieznacznie.