Nowe benchmarki i badania biorą się za modele AI, które brzmią pewnie i się mylą

5 października Reflection pokazał Beam, swój pierwszy model z otwartymi wagami. To rzadka mieszanina ekspertów: 501 mld parametrów łącznie i 23 mld aktywnych, wstępnie trenowana na 23,8 bln tokenów. Blog firmy podaje, że wagi, raport techniczny i karta modelu pojawią się „w późniejszym terminie w tym miesiącu”. Firma przyznaje też, że Beam wciąż przechodzi końcowe testy red team.

Własne liczby Reflection pokazują, gdzie model stoi. W SWE Bench Pro v2-Hard Beam zdobywa 77,2 punktu wobec 88,2 dla Kimi K3. W Terminal Bench v2.1 ma 80,1, podczas gdy K3 dochodzi do 88,3, a DeepSeek V4.1 Flash do 90,6. Argument nie dotyczy pierwszeństwa, ale kosztu. Według tego samego wpisu Beam deklaruje wyniki rozumowania porównywalne z GLM-5.2 przy 3 do 4 razy mniejszym nakładzie obliczeń na wnioskowanie.

Dlaczego pewna odpowiedź nie jest poprawna

Pod tymi tabelami siedzi problem oceny, który ma też wątek badawczy. Zespół z Uniwersytetu Kalifornijskiego w Riverside, kierowany przez doktoranta Heta Patela, przyjrzał się modelom Llama-3.1-8B (8 mld parametrów) od Meta i Gemma-2-9B (9 mld parametrów) od Google za pomocą rzadkich autoenkoderów. Odpowiedzi w testach wielokrotnego wyboru podzielił na cztery grupy: według tego, czy były poprawne, czy błędne, i według tego, czy model był pewny, czy niepewny. Zespół znalazł cechy związane głównie z niepewnością, cechy związane głównie z błędnymi odpowiedziami oraz cechy częściowo wspólne. Wyciszenie cech powiązanych wyłącznie z niepewnością ostro obniżyło trafność, podaje komunikat uczelni.

„Główne założenie w tej dziedzinie jest takie, że kiedy model jest pewny, prawdopodobnie ma rację, a kiedy nie jest pewien, częściej się myli. Ale często widzimy dobrze udokumentowane kontrprzykłady” - powiedział Patel w komunikacie UCR.

Wniosek praktyczny jest taki, że część tych wewnętrznych cech można przyciszyć bez ponownego trenowania całego modelu. Patel porównał to do pokręteł. To ma znaczenie, bo zwykłym lekarstwem na nadmiernie pewny model jest kolejny trening. Zwykłym pomiarem nadmiernej pewności jest test porównawczy, który ocenia odpowiedzi, a nie poczucie wątpliwości samego modelu.

Testy porównawcze powstają pod wątpliwość

5 października GitHub opublikował ReviewBench, otwarty test porównawczy do przeglądu kodu przez AI. Powstał z analizy 103,9 mln pull requestów w GitHubie. Zawiera 219 pull requestów z 187 publicznych repozytoriów open source w 19 językach. GitHub podaje, że starsi inżynierowie samodzielnie oznaczyli złote trafienia pozytywne przed publikacją. Każde znalezisko ma etykietę wagi i kategorii, więc zespoły mogą ciąć wyniki według preferencji precyzji i pełności.

Niezręczne wyznanie we wpisie GitHuba dotyczy własnego produktu firmy. GitHub twierdzi, że dzięki ReviewBench jego ocena przeglądu kodu w Copilocie prowadzona offline „skuteczniej przewiduje kierunek eksperymentów produkcyjnych”. Innymi słowy, stary sygnał offline nie śledził dość dokładnie tego, co działo się na produkcji. Test, który przewiduje rzeczywistość, to inny twór niż ten, który szereguje modele na liście rankingowej.

Veris poszedł tym samym tropem przy agentach głosowych. Jego VAmoS Pro Bench, opublikowany 5 października, przepuścił 14 stosów głosowych przez 2 694 symulowane rozmowy o rozliczeniu rachunku za media. Skuteczność wykonania zadania wahała się od 57,5% dla najlepszego stosu do 17,3% na dole. Żadna pojedyncza liczba na okładce by tego rozrzutu nie oddała. Tablica zapisała też wskaźniki przerywania i koszt rozmowy. Okazało się, że telewizor grający za plecami dzwoniącego ściął łączną skuteczność z 38,7% do 8,6%, a hałas uliczny o tym samym poziomie nie kosztował nic.

Małe modele, małe decyzje, mierzalne wyniki

Nie każda ocena wymaga laboratorium. Projekt Jeff-Code na GitHubie, opublikowany 5 października, wstawia model decyzyjny o 0,8 mld parametrów do pętli agenta Pi, narzędzia do kodowania Mario Zechnera, obok Qwen 3.8-27B (27 mld parametrów). Jeff wykonuje dwa szybkie zapytania wokół każdego ruchu Qwena, po około 0,2 sekundy. Jedno pyta, czy może sam zrobić kolejny krok informacyjny. Drugie pyta, czy Qwen musi mocno pomyśleć.

Wyniki parowanych przebiegów na 1 242 zadaniach dają wskaźnik zaliczeń 62,4% wobec 62,8% dla samego Qwena. Autorzy podają różnicę jako minus 0,2 punktu, z 95-procentowym przedziałem od minus 2,6 do plus 2,1. Czas na zadanie spadł do 0,68 razy wartości bazowej, z medianą 0,70. Wyłączenie myślenia w każdym ruchu było jeszcze szybsze, ale kosztowało 7,6 punktu. Mniej ostrożny próg 0,7 kosztował 4,5 punktu. Repozytorium odnotowuje też, że w około 5% zadań układ działał ponad 30 minut dłużej niż sam Qwen.

Ten ostatni szczegół to właśnie to, co zbiorcze przyspieszenia ukrywają. Tak samo jest z argumentem o projektowaniu testów, który Matklad przedstawił 5 października. Wybierz rozmiar wejścia, przy którym mikrotest trwa około 300 ms. Wszystko poniżej 10 ms może przekłamać stały narzut, na przykład start interpretera, a wszystko powyżej sekundy spowalnia powtarzane przebiegi. Jego założenie jest takie, że testy porównawcze istnieją po to, żeby autor zdobył dość intuicji do podjęcia trafnej decyzji, a nie po to, żeby dać precyzyjny pomiar.

Fala modeli decyzyjnych, każdy z własną tablicą wyników

Liquid AI 5 października wprowadził d1, model decyzyjny, który zwraca prawdopodobieństwa zamiast generować tokeny. Przyjmuje teraz obrazy, nie tylko tekst. Firma podaje, że testowała d1 przeciw GPT-6.1 Sol i Claude Opus 5.5 w sześciu zastosowaniach. Dorównał lub pobił GPT-6.1 Sol w czterech, przy 19 do 200 razy niższym koszcie. Na publicznym zbiorze danych z kontroli przemysłowej sortuje części dobre i wadliwe z dokładnością od 85% do 97%, według bloga, choć nie trenowano go do tego zadania.

Interfaze opublikował tego samego dnia system o innym kształcie: Interfaze 1.1 Lite. Łączy rdzeń rozumowania z modelami specjalistycznymi do dokumentów, mowy, segmentacji i prognozowania, a działa na jednym procesorze graficznym o 80 GB pamięci. Jego opublikowana tabela daje 85,9 punktu na GPQA Diamond wobec 92,4 dla Interfaze i 89,9 dla Claude-Sonnet-4.6. Na olmOCR-Bench daje 83,8 wobec 85,7 dla większego modelu Interfaze. To liczby raportowane przez dostawcę, na testach wybranych przez dostawcę, czyli dokładnie ta luka pomiarowa, którą testy przeglądu kodu i głosu próbują zasypać.

Przeciwwagą jest koszt i szybkość. Model, który odpowiada w 200 do 300 milisekund prawdopodobieństwem, można tanio sprawdzić albo odrzucić. Model, który generuje akapit pewnej siebie prozy, nie daje tej możliwości. Sean Goedecke przekonywał 5 października, że modele decyzyjne typu Jev będzie łatwo destylować do ręcznie budowanych klasyfikatorów, gdy zastosowanie zostanie potwierdzone. Prompt i jego wyniki dają dane z etykietami za darmo. Trener staje się trenowanym.

Jak wygląda dowód spoza świata AI

Dla kontrastu warto zobaczyć, jak wygląda duże, dobrze zakotwiczone badanie. PsyPost poinformował 4 października o badaniu ponad 2,5 mln dzieci, opublikowanym w The Pediatric Infectious Disease Journal. Nie znalazło związku między szczepieniem MMR przed drugim rokiem życia a autyzmem. Główny badacz, Todd Burstain z UW Medicine, powiedział PsyPostowi, że wcześniejsze badania europejskie korzystały z danych z lat 2000-2012, gdy częstość autyzmu była około trzykrotnie niższa niż obecnie w USA. Stwierdził, że zakotwiczona w wieku analiza punktów zwrotnych pozwala uniknąć obciążenia nieśmiertelnego czasu.

To jest standard, do którego porównuje się testy AI, i większość z nich jest daleko. Tabele dostawców są samodzielnie raportowane, często na testach wybranych przez dostawcę, czasem z wierszami oznaczonymi jako „nie podano” dla konkurencji. Wpis Reflection o Beam jest tu nietypowo szczery, bo obok własnych wyników wymienia brakujące punkty rywali, ale brakujące pozycje nadal są brakujące. ReviewBench GitHuba, tablica głosowa Verisu i parowane przebiegi Jeff-Code idą w jedną stronę: publikuj narzędzie, rozkład i przedział, nie tylko liczbę na okładce.

Inne publikacje z 5 października pasują do wzorca małych, mierzalnych narzędzi, a nie wielkich deklaracji. Reika, narzędzie wiersza poleceń do kodowania zbudowane wokół modeli lokalnych od 8 do 35 mld parametrów, publikuje własne ustalenia. Jedno przepisanie w środku kontekstu przetworzyło 8 453 tokeny promptu, co kosztowało 7,9 minuty wstępnego przetwarzania. Dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. Precogly wydał wersję 0.4.0 otwartej platformy do modelowania zagrożeń i dołączył do OWASP. NASA i IBM opublikowały kod do dostrajania księżycowego modelu podstawowego, obejmującego wykrywanie kraterów i rozpoznawanie złóż lodu.

Żadna z tych prac nie rozstrzyga, czy model wie, czego nie wie. Prace z UCR sugerują, że wewnętrzny sygnał istnieje i da się go regulować. Nowe testy porównawcze sugerują, że sygnał zewnętrzny był zbyt gruby, żeby to zauważyć. Jedno i drugie mówi to samo. Odpowiedź i zapewnienie to dwa różne wyjścia, a jak dotąd porządnie zmierzono tylko jedno z nich.