Benchmarki są wszędzie, ale mierzą mniej, niż twierdzą laboratoria

GitHub opublikował ReviewBench 5 października. To otwarty benchmark do przeglądu kodu przez AI, zbudowany z 219 publicznych pull requestów w 19 językach. Firma twierdzi, że wzorowała zestaw na 103 900 000 pull requestów, które przeszły przez GitHuba. Prawdziwe trafienia oznaczyli przed publikacją starsi inżynierowie. GitHub podaje, że zbiór danych jest publiczny i gotowy do włączenia nowych systemów przeglądu kodu.

Moment publikacji ma mniejsze znaczenie niż sposób budowy. ReviewBench ocenia recenzentów według czterech metryk. Każde znalezisko ma etykietę ważności i kategorii, więc zespół może sprawdzić, czy model łapie krytyczne błędy, czy tylko produkuje szum. GitHub twierdzi też, że jego ocena offline przeglądu kodu w Copilocie lepiej teraz przewiduje, czy zmiana pomoże w produkcji. To teza warta sprawdzenia: benchmark zdobywa zaufanie tylko wtedy, gdy jego wyniki pokrywają się z tym, co widzą użytkownicy.

Agent głosowy, który zawodzi, gdy w tle gra telewizor

Veris opublikował wyniki tablicy VAmoS Pro tego samego dnia, a jedno z ustaleń czyta się jak etykieta ostrzegawcza. Test obejmował 2 694 symulowane rozmowy telefoniczne dotyczące rozliczenia rachunku za media. Telewizor grający za dzwoniącym obniżył zbiorczy wskaźnik ukończenia zadania z 38,7% do 8,6%. Hałas uliczny o tym samym poziomie nie kosztował nic, według rankingu. Dziewięć z czternastu stosów głosowych ukończyło mniej niż 5% rozmów z telewizorem w tle.

Veris stawia Phonic na pierwszym miejscu z 57,5% ukończonych zadań i opóźnieniem 1,42 sekundy. Grok Voice Think Fast 2.0 jest następny z 44,7%, a Gemini 3.8 Live z 40,1%. Stos Hugging Face z Whisper, gpt-oss-120b i Kokoro zajmuje ostatnie miejsce z 19,0%. Veris wyraźnie zaznacza, że to jeden egzamin na politykach jednego zakładu użyteczności publicznej. Kolejność traktuj jako migawkę, nie jako wyrok na dostawców.

Ta sama tablica przetestowała osiem modeli decyzyjnych pod kątem tego, kiedy agent powinien się odezwać. Clef Flash od Cloudflare i Nimble najmniej przerywały dzwoniącym. Clef Flash odpowiadał około sekundy szybciej niż Nimble. W osobnym przebiegu na 600 rozmowach Veris podał, że przerwania spadły z 52% tur rozmówcy do 11% dzięki semantycznemu wykrywaniu tur. Ta liczba pochodzi z testów samego dostawcy, nie z niezależnego audytu.

Twierdzenia o wydajności wymagają takiej samej kontroli

Reflection przedstawiła swój pierwszy model z otwartymi wagami, Beam, 5 października. To rzadka architektura mieszanki ekspertów z 501 000 000 000 parametrami łącznie i 23 000 000 000 aktywnymi. Firma twierdzi, że wstępnie trenowała go na 23 800 000 000 000 tokenów. Uczenie ze wzmocnieniem prowadziła przez cztery tygodnie na 10 500 procesorach Nvidia GB300. Twierdzi też, że Beam dorównuje GLM 5.2 w zaawansowanym rozumowaniu, zużywając 3 do 4 razy mniej mocy obliczeniowej na wnioskowanie.

Własna tabela Beama podważa nagłówek. Na SWE Bench Pro v2-Hard Kimi K3 zdobywa 88,2 wobec 77,2 Beama. Na Terminal Bench v2.1 Kimi K3 osiąga 88,3 wobec 80,1. Reflection uczciwie przedstawia to jako przewagę wydajności, a nie prowadzenie w możliwościach. Wagi, raport techniczny i karta modelu mają się pojawić jeszcze w tym miesiącu.

Mniejsze projekty składają mniejsze obietnice. Fork agenta kodującego Pi o nazwie Jeff-Code łączy model decyzyjny 800 000 000 z Qwen 3.8-27B. Podaje wskaźnik zaliczeń 62,4% wobec 62,8% dla samego Qwen, czyli różnicę w parach minus 0,2 punktu. Skraca też średni czas na zadanie do 0,68 raza. Model decyzyjny d1 od Liquid AI zadebiutował 5 października z obsługą obrazów. Odpowiada w 200 do 300 ms bez generowania tokenów, twierdzi firma. Kosztuje 19 do 200 razy mniej niż GPT-6.1 Sol i Claude Opus 5.5.

Dwie rzeczy pozostają nieznane. Nikt spoza laboratoriów nie uruchomił tych systemów na zadaniach, których sam nie wybrał. Dostawcy nie opublikowali przypadków porażek kryjących się za ich średnimi. Dopóki tak jest, wynik benchmarku jest punktem wyjścia do decyzji zakupowej, a nie samą decyzją.