Gemini 4 Carbon prowadzi w indeksie o jeden punkt, a twierdzenia o LLM-ach szybko tracą ważność

Jeden punkt przewagi w indeksie inteligencji

Różnica na szczycie to jeden punkt. Gemini 4 Carbon zdobył 59 punktów w Intelligence Index V5. To o jeden więcej niż Claude Opus 5.5 i o dwa więcej niż GPT-6 Astra od OpenAI.

Kto wybiera modele z rankingu, ma teraz do zinterpretowania jeden punkt. Trwałej przewagi nie ma. Google nie podało, kiedy Gemini 4 Carbon będzie szerzej dostępny.

Tom's Hardware podał, że model zajął pierwsze miejsce w czterech z dziewięciu ocen w zestawie. Koszt zadania w teście Intelligence Index wyniósł 7,76 dol. The Hacker News napisał, że Gemini 4 Carbon prowadził w testach wyszukiwania, wykorzystywania i łatania podatności. Ars Technica podała, że Google ogłosił model z etapowym udostępnianiem, które może potrwać.

Google twierdzi, że Carbon zyskał 89 punktów w WebDev Arena. Obecnie zajmuje tam czwarte miejsce.

Dlaczego przewaga jest krucha

Testy się starzeją. Owen Queen i James Zou ze Stanford sprawdzili 50 często cytowanych twierdzeń o dużych modelach językowych na 20 modelach.

Okazało się, że 44% tych twierdzeń już się przedawniło. Wśród 22 wniosków z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca. Po roku przedawniło się 16%. Po dwóch latach odsetek wzrósł do 39%. Ośmiu deweloperów wydało modele między lipcem 2024 a wrześniem 2026. Najszybciej padały twierdzenia o tym, czego modele nie potrafią. Pięć z dziewięciu wniosków dotyczących rozumowania uznano za przedawnione. Żaden się nie utrzymał ani nie umocnił.

Wyniki różnią się też w obrębie jednego okna wydawniczego. Wśród modeli wydanych między lipcem a wrześniem 2026 liczba przedawnionych wniosków wahała się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol.

Test zmyślonych cytowań wypada najwyraźniej. GPT-3.5 wymyślił 55% swoich odniesień w badaniu Waltersa i Wildera z 2023. Na tych samych promptach GPT-6.1 Sol zmyślił 0%, a Claude Sonnet 5.5 osiągnął 1%. Qwen3.7-Flash wciąż zmyślał 69%.

Queen i Zou formułują wąski wniosek. Twierdzenia o LLM-ach należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako prawdy ogólne.

Testy nie rozstrzygają programowania ani pracy z wiedzą

Jeden punkt przewagi w indeksie złożonym nie oznacza przewagi w każdym zadaniu.

Ars Technica podała, że Gemini 4 Carbon bije GPT-6 Astra, Claude Opus 5.5 i Claude Fable 5.1 w niemal każdym teście Google, ale tylko o kilka punktów. Artificial Analysis twierdzi, że model nie jest tak dobry w programowaniu jak Claude Code z Claude Opus 5.5. Ustępuje też Grok 4.7, Muse Wonder i Kimi K3.1 Pro w pracy z wiedzą. W AA-Omniscience, który mierzy wiedzę i halucynacje, Gemini 4 Carbon zdobył 54 punkty. To najlepszy wynik w zestawieniu. Wciąż daleko mu do spójnego przypominania wiedzy w skali od -100 do +100.

Cena to druga połowa porównania. Przy 7,76 dol. za zadanie Gemini 4 Carbon jest tańszy niż Claude Opus 5.5 i Sonnet 5.5, oba w wariancie max z fallbackiem.

Kosztuje około sześć razy więcej niż GPT-6.1 Sol (max). Około 13 razy więcej niż model z otwartymi wagami DeepSeek V4.1 Flash 1017, który ma 32 punkty w Intelligence Index. Claude Fable 5.1 kosztuje 12,99 dol. za zadanie. W niższych przedziałach cenowych chińskie modele z otwartymi wagami, takie jak GLM 5.3-Flash i DeepSeek V4 Pro, przejmują granicę Pareto, wynika z danych Arena.ai, które przytoczył Tom's Hardware.

Dostęp, deklaracje o bezpieczeństwie i to, co nadal nieznane

Dostęp pozostaje ograniczony. Google daje Gemini 4 Carbon najpierw obrońcom cyberbezpieczeństwa w ramach programu Fairwind. Szersza dostępność przyjdzie później.

Deklaracje o bezpieczeństwie są najgłośniejszą częścią prezentacji. Google twierdzi, że model dwa razy częściej generuje kod wolny od podatności niż Argon. Zespół Chrome utrzymuje, że jest 10 razy lepszy w tworzeniu wysokiej jakości łatek niż modele spoza Google. Ars Technica podała, że Google mówi o „znaczącym skoku” w wykrywaniu, walidacji i naprawianiu podatności. Firma chwaliła się też współpracą z rządem USA przy przesiewaniu modeli i testach przed wydaniem.

Na razie ranking ma nowe nazwisko na szczycie, o jeden punkt.