Gemini 4 Carbon prowadzi w nowym indeksie AI jednym punktem, a testy zadaniowe pokazują większe różnice

Jeden punkt przewagi na szczycie

Model wyprzedził GPT-6 Astra od OpenAI o dwa punkty i zajął pierwsze miejsce w czterech z dziewięciu ocen indeksu.

Jeden punkt rozstrzyga o kolejności na szczycie indeksu, nie o tym, jaką pracę kupują klienci. Nie wiadomo publicznie, czy przewaga utrzyma się przy innym zestawie narzędzi.

Gemini 4 Carbon kosztował w indeksie 7,76 dol. za zadanie. Claude Fable 5.1 kosztował 12,99 dol. Gemini był o kilka dolarów tańszy niż Claude Opus 5.5 i Sonnet 5.5. Google udostępnił model w zeszłym tygodniu. Jako pierwszy dostęp do niego dostali obrońcy cyberbezpieczeństwa w ramach programu Fairwind. Szersza dostępność ma pojawić się później. Tom's Hardware opisał go też jako czołowy model, który najrzadziej halucynuje, powołując się na deklaracje z testów porównawczych.

Wynik dotyczący halucynacji wymaga podania skali. Gemini 4 Carbon zdobył 54 punkty w AA-Omniscience v1.1, gdzie skala biegnie od -100 do +100. Najlepszy wynik w dotychczasowych pomiarach wciąż jest daleki od wyniku bezbłędnego.

Co nagradza indeks

Artificial Analysis składa v5 z czterech bloków o równej wadze: pracy z wiedzą, kodowania, nauki i części ogólnej, po 25% każdy. Blok kodowania to 15% FrontierCode 2.0 i 10% Terminal-Bench 4.0. Blok ogólny to 15% AA-Omniscience v1.1, rozdzielone na trafność i brak halucynacji, oraz 10% HLE-Diamond.

Interconnects nazwał indeks AA najważniejszym niezależnym miernikiem inteligencji, a Capabilities Index od Epoch AI uplasował daleko za nim. Ten sam tekst nazwał wszystkie takie indeksy „poważnie wadliwymi”.

Ta sama analiza znalazła w kolejności v5 ślady napięć. GPT 6.1 Terra wypadł wyżej niż Claude Fable 5.1. Autorzy zauważyli, że kodowanie jest najlepiej sprawdzonym zastosowaniem i to tam modele otwarte są znacznie bardziej konkurencyjne. W pracy z wiedzą mieli mniej pewności co do modeli otwartych.

Ta sama analiza przekonywała, że erę pojedynczych indeksów inteligencji trzeba wygasić. Spodziewała się, że zajmie to dużo czasu.

Testy pod konkretne zadania pokazują większe różnice

Testy porównawcze zbudowane wokół jednego zadania opowiadają ostrzejszą historię. CloudOpsBench, który sprawdza modele na pracy z infrastrukturą chmurową, postawił Claude Fable 5.1 (max) z narzędziem claude-code na pierwszym miejscu, przy 60,6% skuteczności rozwiązań. Za nim uplasowały się GPT-6 Astra (max) z 58,9% i Gemini 4 Argon (high) z 57,5%.

Na tej tabeli jest osiemnaście modeli. Rozrzut sięga 19,1%. Ten sam model trafia na różne miejsca w zależności od narzędzia, które go opakowuje. Najdłuższe uruchomienie zużyło 97,9 mln tokenów w ciągu 38,6 godziny.

Test GDPx od SemiAnalysis wziął na warsztat pracę opłacalną ekonomicznie. Wyszło, że prowadzący model zdobył zaledwie 12%. FrontierMat to zestaw 330 zadań z badań nad lotnictwem, półprzewodnikami, inteligencją ucieleśnioną i fuzją jądrową. Najsilniejszy model ogólnego przeznaczenia zdobył tam 53,7%. Na dopasowanych zadaniach pytania przekrojowe wypadły o 8,7 punktu niżej niż te w jednej skali. Co najwyżej jeden model rozwiązał połowę z 330 zadań. Eksperyment z adaptacją do dziedziny, opisany w tej samej pracy, podniósł model z otwartymi wagami z 36,7% do 55,4%. To wyrównało wynik najsilniejszego modelu zamkniętego.

Rozumowanie nie równa się niezawodności

Przepaść między możliwościami a niezawodnością widać też w pracy klinicznej. Badanie w Nature Communications porównało sześć dopasowanych par modeli rozumujących i modeli standardowych. Obejmowało 12 specjalności medycznych i korzystało z testu opartego na prawdziwych elektronicznych kartach pacjentów.

Modele rozumujące dały ponad 34% więcej fałszywych rozpoznań niż ich standardowe odpowiedniki. Wykazały też około 40% niższą powtarzalność, więc kolejne uruchomienia częściej się różniły. Za to trafniej stawiały rozpoznania główne i dawały bardziej użyteczne rozpoznania różnicowe.

Poprawką, którą autorzy przetestowali, był nadzór, nie większy model. W walidacji z 15 lekarzami połączenie wyniku modelu rozumującego z przeglądem klinicysty podniosło trafność rozpoznań o 20%. Fałszywe rozpoznania spadły o 44% w porównaniu z modelami działającymi samodzielnie. Autorzy zastrzegli, że wyniki pochodzą z retrospektywnych kart, a nie z bieżących spotkań z pacjentami.

Otwarte wagi zwiększają presję, a deklaracje trzeba sprawdzać

Zamknięte modele czołówki to nie jedyny ruchomy element. Mistral udostępnił wagi Mistral Large 4 29 października. To model multimodalny, który Mistral trenował na europejskiej infrastrukturze. Firma podaje 41% w Terminal-Bench 4.0, o 13 punktów procentowych więcej niż w wersji preview. Zmniejszyła też liczbę tokenów wyjściowych o 30%.

Firma twierdzi również, że Large 4 dorównał GLM-5.3 wynikiem 48% w Artificial Analysis Coding Agent Index. Zużył przy tym o 47% mniej tokenów na zadanie. To liczby podane przez producenta.

Licencja ma tu znaczenie. Otwarta licencja Mistrala pozwala na darmowe użycie i modyfikację, ale firma, która odsprzedaje model jako usługę, potrzebuje osobnej licencji komercyjnej.

Meituan udostępnił LongCat-2.5 w poniedziałek. To model o 1 600 000 000 000 parametrów, z których około 48 000 000 000 jest aktywnych na token. Meituan trenował go na około 50 000 produkowanych w Chinach akceleratorów. Jego deklaracje wyników czekają na niezależne testy.

Google nie podał daty szerszego dostępu do Gemini 4 Carbon poza programem Fairwind.