Testy porównawcze coraz lepiej mierzą wątpliwości AI, nie tylko odpowiedzi

Dwie prace atakują ten sam problem z przeciwnych stron. Nie ukazały się tego samego dnia. GitHub opublikował ReviewBench, otwarty test porównawczy do przeglądu kodu pisanego przez AI, zbudowany na analizie 103 900 000 pull requestów ze swojej platformy. Osobno informatycy z UC Riverside opisali metodę znajdowania wewnętrznych cech, które sprawiają, że model językowy brzmi pewnie, choć się myli.

Żadna z tych prac nie jest premierą produktu. Obie próbują odpowiedzieć na pytanie, które kupujący i użytkownicy zadają bez przerwy: kiedy model coś twierdzi, po czym poznać, czy warto mu wierzyć?

Co zbudował GitHub

ReviewBench, ogłoszony na blogu GitHuba, zawiera 219 publicznych pull requestów z 187 repozytoriów open source w 19 językach. GitHub twierdzi, że mieszanka języków i rozmiarów repozytoriów blisko odpowiada jego ogólnym rozkładom. Przed publikacją starsi inżynierowie ręcznie oznaczyli złote trafienia dodatnie. Zbiór danych jest publiczny.

Test ocenia cztery metryki i przypisuje każdemu znalezisku wagę oraz kategorię. Zespoły mogą dzielić wyniki według rodzaju przeglądu, na którym im zależy. GitHub twierdzi, że ta zmiana pomaga porównywać recenzentów zgłaszających wiele problemów z tymi, którzy milczą, oraz wysokie wskaźniki wykrycia z drobnymi sugestiami.

Najważniejsza liczba to 103 900 000. Tyle pull requestów GitHub przeanalizował, żeby scharakteryzować rzeczywiste obciążenie pracą przy przeglądach, a 219 przypadków podąża za tym rozkładem. Firma dokonała jednej świadomej korekty. Rozmiar pull requesta jest ważony w stronę przeglądalnego środka i ogona, co zmniejsza nadreprezentację bardzo dużych zmian. GitHub twierdzi też, że jego offline'owa ocena przeglądu kodu Copilota lepiej teraz przewiduje kierunek eksperymentów produkcyjnych.

Nie wiadomo, jak wypadają konkurenci. GitHub zaprasza inne systemy przeglądu kodu do dołączenia i zgłaszania wyników. Wpis nie podaje rankingu ani liczb modelu bazowego.

Dlaczego pewność to nie poprawność

Badanie UC Riverside, kierowane przez doktoranta Heta Patela, zajrzało do środka dwóch modeli z otwartymi wagami: Llama-3.1-8B od Meta (8 000 000 000 parametrów) i Gemma-2-9B od Google (9 000 000 000 parametrów). Zespół zadawał pytania wielokrotnego wyboru i sortował odpowiedzi do czterech koszyków: poprawna lub błędna w połączeniu z pewną lub niepewną.

Za pomocą rzadkich autoenkoderów badacze znaleźli trzy rodzaje wewnętrznych cech: jedne powiązane głównie z niepewnością, inne głównie z błędnymi odpowiedziami, a jeszcze inne mieszane. Tłumienie cech powiązanych wyłącznie z niepewnością ostro obniżyło dokładność. To sugeruje, że cechy te naprawdę pracują przy produkcji dobrych odpowiedzi. Materiał uniwersytetu mówi, że zmiana niektórych cech zmieniła zachowanie modelu bez ponownego trenowania całości.

"Główne założenie w tej dziedzinie jest takie, że gdy model jest pewny, prawdopodobnie ma rację, a gdy jest niepewny, częściej się myli", powiedział Patel. "Ale często widzimy dobrze udokumentowane kontrprzykłady."

To jest ta część, którą warto zapamiętać. Ocena pewności nie jest oceną wiarygodności, a model, który się waha, wciąż może mieć rację. Niektóre zespoły budują bariery, które blokują odpowiedzi poniżej progu pewności. Z badania wynika, że ten próg mierzy niewłaściwy sygnał.

Mniejsze modele, zmierzone twierdzenia

Cichsze przykłady tej samej dyscypliny pojawiły się gdzie indziej. Projekt na GitHubie o nazwie Jeff-Code łączy model decyzyjny z 800 000 000 parametrami z Qwen 3.8-27B (27 000 000 000 parametrów) w agencie kodującym. Raportuje zadania kończone o 47% szybciej (o 32% mniej czasu) przy tym samym wskaźniku zaliczeń. Liczby są niezwykle precyzyjne: 62,4% wobec 62,8% zaliczeń, różnica w parach minus 0,2 punktu przy przedziale ufności 95% od minus 2,6 do plus 2,1, na 1 242 parach zadań.

Projekt podaje też, gdzie zawodzi. Nie było wyraźnego przyspieszenia na Terminal-Bench 2.0 (0,96x) ani na SkillsBench (0,91x). Wyłączenie myślenia w każdej turze było szybsze, ale kosztowało 7,6 punktu. Mniej ostrożny próg 0,7 kosztował 4,5 punktu.

Firma Reflection pokazała z kolei Beam, model z otwartymi wagami o 501 000 000 000 parametrach, z których 23 000 000 000 jest aktywnych, i opublikowała przy nim szeroką tabelę testów. Beam zdobywa 80,9 na SWE-bench Verified i 97,8 na AIME 2 026. Firma twierdzi, że osiąga wyniki porównywalne z GLM-5.2, zużywając 3 do 4 razy mniej mocy obliczeniowej przy wnioskowaniu. Model wciąż przechodzi końcowe testy red-team; wagi, raport techniczny i karta modelu są obiecane w tym miesiącu.

Tabela testów od samego dostawcy nie jest neutralnym dowodem, a zastrzeżenia Reflection mają znaczenie. Jego indeks AA Omniscience jest oznaczony jako tylko publiczny podział, z własnymi wynikami. Twierdzenie o wydajności da się jednak sprawdzić, gdy wagi trafią do obiegu.

Gdzie liczby bywają pożyczane

Znane nazwy testów podróżują szybko i nie zawsze w całości. Model decyzyjny d1 od Liquid AI jest porównywany z GPT-6.1 Sol i Claude Opus 5.5 na sześciu aplikacjach. Firma twierdzi, że dorównuje GPT-6.1 Sol lub bije go w czterech i kosztuje od 19 do 200 razy mniej. Podaje dokładność od 85% do 97% przy sortowaniu dobrych i wadliwych części w demonstracji kontroli wizualnej. Zaznacza, że model nigdy nie był trenowany do tego zadania.

Interfaze opublikował tabelę testów dla swojego modelu Interfaze 1.1 Lite. Tabela biegnie od GPQA Diamond (85,9 wobec 92,4 dla Interfaze) do wskaźnika błędów słów w rozpoznawaniu mowy VoxPopuli. To porównanie dostawcy, nie audyt zewnętrzny.

Poza dostawcami modeli Veris opublikował test porównawczy agentów głosowych, ciekawszy ze względu na to, co mierzy. Na VAmoS Pro Bench telewizor grający za plecami dzwoniącego ściął zbiorcze ukończenie zadań z 38,7% do 8,6%. Dziewięć z czternastu stosów głosowych ukończyło mniej niż 5% rozmów z telewizorem w tle. Najlepszy stos, Phonic, osiągnął 57,5% ukończonych zadań przy opóźnieniu 1,42 sekundy; najgorszy, kaskada Pipecat, 17,3%.

Veris mówi otwarcie o ograniczeniach. Ranking to jeden egzamin, zbudowany na zasadach jednej spółki energetycznej, z symulowanymi dzwoniącymi. To węższe twierdzenie niż ogólny ranking zdolności i Veris tak je przedstawia.

Starszy spór pod spodem

Nic z tego nie rozstrzyga głębszego pytania. Praca Davida Chalmersa o tym, czy duży model językowy mógłby być świadomy, poprawiona w sierpniu 2 024 roku, argumentuje, że obecne modele nie mają przetwarzania rekurencyjnego, globalnej przestrzeni roboczej ani zunifikowanej sprawczości. Autor wnioskuje, że jest raczej mało prawdopodobne, by dzisiejsze modele były świadome, ale ich następcy mogą być.

To tło, nie news, i nie przekłada się bezpośrednio na to, czy recenzent kodu wyłapie błąd. Wyjaśnia jednak, dlaczego problem pewności jest trudny. Model, który produkuje płynny, pewny tekst, nie ma osobnej władzy, by wiedzieć, że się myli. Praca z UC Riverside sugeruje, że taki sygnał da się znaleźć i dostroić. Praca GitHuba sugeruje, że da się go ocenić.

Ani jedno, ani drugie nie daje jednej liczby, którą kupujący mógłby wpisać do dokumentu przetargowego. ReviewBench nie ma jeszcze opublikowanych wyników konkurentów. Metodę z UC Riverside pokazano na dwóch modelach z otwartymi wagami, nie na zamkniętych systemach, z których korzysta większość firm. Wagi Beama nie są dostępne. Dopóki te luki się nie zamkną, uczciwa odpowiedź na pytanie "czy ten model jest wiarygodny" to wciąż zestaw wąskich pomiarów, każdy z podanym zakresem.