Gemini 4 Carbon na czele nowego indeksu halucynacji, ale najlepszy wynik to tylko 54

Gemini 4 Carbon od Google zajmuje pierwsze miejsce w teście AA-Omniscience v1.1, który mierzy halucynacje i przypominanie wiedzy. Podał to 3 listopada Tom's Hardware. Model zdobywa też 59 punktów w Intelligence Index V5 firmy Artificial Analysis. To o jeden punkt więcej niż Claude Opus 5.5 (max with fallback) i o dwa więcej niż GPT-6 Astra (max) od OpenAI.

Jest jednak zastrzeżenie. Nawet najlepszy model osiągnął tylko 54 punkty na skali wszechwiedzy. Tę liczbę warto mieć z tyłu głowy.

Różnica w inteligencji jest niewielka, różnica w cenie już nie. Według tego samego tekstu Tom's Hardware Gemini 4 Carbon kosztuje 7,76 dolara na zadanie w Intelligence Index. To nieco taniej niż Gemini 3.8 Flash (high) i o kilka dolarów mniej niż Claude Opus 5.5 lub Sonnet 5.5 w trybie max with fallback. Claude Fable 5.1 kosztuje 12,99 dolara na zadanie. GPT 6.1 Sol (max) od OpenAI jest około sześć razy tańszy na zadanie niż Gemini 4 Carbon. Otwarty DeepSeek V4.1 Flash 1017 jest około 13 razy tańszy, choć w tym samym indeksie zdobywa 32 punkty. Dostęp jest stopniowy: Google daje model najpierw obrońcom cyberbezpieczeństwa w ramach programu Fairwind, a szersza dostępność ma przyjść później.

Ta rama bezpieczeństwa ma własne dowody. The Hacker News podał 29 października, że Gemini 4 Carbon prowadzi w testach wyszukiwania, wykorzystywania i łatania luk w zabezpieczeniach.

Testy są coraz trudniejsze, a modele wciąż zawodzą

Wynik w teście wszechwiedzy pojawia się obok fali nowych ewaluacji. Te celowo sprawdzają problemy bez podręcznikowych odpowiedzi. FrontierMat, opublikowany na arXiv 30 października, zawiera 330 zadań z akademickich i przemysłowych badań materiałowych w lotnictwie, półprzewodnikach, inteligencji ucieleśnionej i fuzji jądrowej. Każde zadanie sprawdzili eksperymentatorzy i specjaliści z branży. Najmocniejszy model ogólnego przeznaczenia zdobywa 53,7%. Co najwyżej jednemu modelowi udaje się rozwiązać połowę zadań.

Autorzy precyzyjnie nazywają mechanizm porażki: modele popierają to, co prawdopodobne, a nie to, co zaobserwowano. W dopasowanych zadaniach te 130, które wymagają rozumowania między skalami, wypadają o 8,7 punktu gorzej niż zadania jednoiskalowe. Przepis na adaptację dziedzinową wykorzystuje meta-ważone kontynuowane pretrenowanie i samodystylację modularną względem skali. Podnosi otwarty model z 36,7% do 55,4%, dorównując najmocniejszemu modelowi własnościowemu, bez spadku w ogólnych testach.

Inne prace wskazują w tę samą stronę. SafeWebWorld, złożony 29 października, wykazał, że ludzie uznali 86,1% z 3 000 przewidywań dziesięciu zamrożonych otwartych modeli za semantycznie prawdopodobne. Prawdopodobieństwo nie przełożyło się jednak na trafne decyzje o bezpieczeństwie. CLR-Bench, opublikowany tego samego dnia, sprawdzał, czy samorozwijające się agenty uczą się ukrytych reguł. Najlepszy zysk względem zamrożonego agenta wyniósł co najwyżej 5 punktów, podczas gdy stała lekcja podająca konwencję podniosła te same metody o 14,5 do 16,5 punktu.

BULLPEN, również na arXiv, przekonuje, że sama poprawność pomija zachowanie, styl i pochodzenie odpowiedzi. Profiluje 260 otwartych modeli na podstawie tekstu odpowiedzi, używając 400 pytań, czyli 1,3% pełnej puli 24 118 pytań.

O co naprawdę chodzi w sporze o testy

Rankingi zmieniają się co tydzień. Newsletter Interconnects Nathana Lamberta przyjrzał się dylematowi twórców testów w tekście z 28 października o Artificial Analysis v5. 30 października wrócił do własnego stanowiska w sprawie otwartych modeli i ryzyka cybernetycznego.

Presja kosztów i tak pcha kupujących w stronę mniejszych otwartych modeli. The Register podał 3 listopada, że analitycy Gartnera Mark Petty i Raymond Paquet spodziewają się, iż do 2030 roku modele otwarte będą wykonywać 90% kroków firmowych procesów agentowych. Liczą na to przy cenie około jednej czwartej najtańszego modelu zamkniętego i nawet jednej dwudziestej modelu czołowego na każdym kroku. Analitycy przyznają, że realne oszczędności są bliższe pięciu lub sześciu razy, bo otwarte modele bywają bardziej rozwlekłe i częściej ponawiają próby.

Ryzyko halucynacji nie rozkłada się też równo między językami. SHAKTI i TRIDENT, złożone 30 października, budują hindi test do wykrywania tekstów AI w ośmiu rodzinach LLM. Autorzy przekonują, że badania nad detekcją pozostają skupione na angielskim.

Wzór jest wszędzie ten sam: lepsze wyniki, węższe marginesy i tryby porażki, których wskaźniki prawdopodobieństwa nie wyłapują.