Gemini 4 Argon od Google prowadzi w rankingu, ale dostęp mają tylko partnerzy

Google opublikowało Gemini 4 Argon 30 września. Firma twierdzi, że to model przewodzący indeksowi Vals AI, jednak dostęp jest ograniczony do partnerów cyberbezpieczeństwa w ramach programu Fairwind. To najnowszy debiut w zatłoczonym tygodniu, który przyszedł z roszczeniem o benchmark, a nie z datą ogólnodostępnej premiery.

Według TechCrunch, Argon został wytrenowany specjalnie do pracy obronnej w cyberprzestrzeni. Google deklaruje, że potrafi "autonomicznie znajdować, weryfikować i łatać krytyczne podatności w oprogramowaniu". Firma twierdzi też, że model uzyskał znacznie wyższe wyniki niż GPT-6 Astra od OpenAI oraz modele Fable i Opus od Anthropic w szeregu testów AI. Google powołuje się na Vals, by pokazać, że Argon obecnie prowadzi w ich indeksie. Wpisy na blogu Google, cytowane przez TechCrunch, opisywały model jako "zaprojektowany do utrzymania głębokiego rozumowania w złożonych, długich procesach".

Benchmarks to łatwa część. Dostęp już nie.

Argon jest dostępny wyłącznie dla wybranej grupy partnerów cyberbezpieczeństwa przez program Fairwind, inicjatywę bezpieczeństwa Google, zgodnie z informacjami z TechCrunch. W materiałach nie ma daty publicznej premiery, cen ani niezależnych wyników testów poza cytowanymi przez firmę. Dla modelu reklamowanego jako najpotężniejszy, praktyczne pytanie o to, kto może go używać, pozostaje bez odpowiedzi w dostępnych materiałach. Google chwali też zdolność Argona do analizy obrazów, od długich filmów po wykresy, a jego pracownicy używali go do debugowania i migracji baz kodu.

Rozszczeni o benchmark i jego ograniczenia

Cytowanie indeksu Vals robi dużo pracy w narracji Google, co wskazuje na szerszy problem z tym, jak sprzedaje się modele. TechCrunch opisuje Vals jako coraz popularniejszy startup benchmarkujący AI, co czyni go rozsądnym punktem odniesienia, ale nie neutralnym sędzią. Zestaw porównawczy też szybko się zmienia: OpenAI wydało Astra wcześniej w tym roku z własnym językiem o najlepszym modelu, a Fable i Opus od Anthropic przybyły z podobną retoryką. Twierdzenie Google, że Argon pokonuje wszystkich, pochodzi z ich własnej interpretacji indeksu trzeciej strony.

To nie czyni twierdzenia fałszywym. Robi je nieaudytowanym. Materiały nie zawierają niezależnej oceny Argona, a model nie jest powszechnie dostępny do testów. Czytelnicy powinni traktować przewagę w benchmarku jako twierdzenie firmy, dopóki nie pojawią się zewnętrzne wyniki.

To nie jedyna wiadomość o benchmarkach w tym tygodniu, a druga to przypomnienie, jak cienki może być ten gatunek.

Niemiecki serwis t3n poinformował 1 października o stronie Tiny AI Arena, która stawia modele przeciwko sobie jako małych rycerzy w turach na arenie, ze skarbem w środku i bez wiarygodnych wyników na końcu. W przykładowym meczu t3n walczą Claude Fable 5.1, Grok 4.6, Gemini 3.6 Flash i Deepseek 4 Flash; Claude Fable chwyta skarb i wygrywa. Artykuł jest wyraźny, że "wiarygodne benchmarki i wartości nie są celem" tej strony. To rozrywka, nie ewaluacja, a t3n przedstawia ją jako antidotum na wyniki, które niewiele znaczą dla zewnętrznego.

Co jeszcze wyszło w tym tygodniu

Debiut Google nie był jedynym wydaniem związanym z modelami. NaiveAI opublikowało 28 września szczegóły Naive-N0.5-Flash, opisując model MoE o 309B parametrach, z 15.5B aktywnymi, natywnym kontekstem 1M bez pełnej uwagi, otwartymi wagami i kodem inferencji na licencji MIT oraz ceną API 0,10 USD / 0,40 USD / 0,01 USD za milion tokenów dla wejścia, wyjścia i odczytów cache. Firma twierdzi, że model został zbudowany przez R&D skupione na AI i wytrenowany do samego R&D AI, z zadeklarowaną ścieżką do rekurencyjnej samousprawniania. To dane firmy z strony badawczej NaiveAI, nie pomiary trzeciej strony.

Tydzień OpenAI poszedł w drugą stronę. The Guardian poinformował 29 września, że OpenAI porzuciło wydanie GPT-6.1 Astra po tym, jak badacze zgłosili obawy o bezpieczeństwo podczas testów wewnętrznych. Model miał pojawić się w ChatGPT i Codex w październiku. Saachi Jain, szefowa systemów bezpieczeństwa OpenAI, powiedziała, że model "nie do końca spełnił standardy" firmy, zgodnie z The Guardian, a CNBC doniosło o tej samej decyzji 28 września, zaznaczając, że przypadła dzień przed coroczną konferencją dla deweloperów OpenAI. CNBC cytowało Jaina, mówiącą, że model "nie do końca spełnił standardy pod względem pozostawania w zakresie i autoryzacji oraz tego, jak komunikuje się z użytkownikiem o typie wykonanej pracy". Obie redakcje zgadzają się co do kluczowego faktu i cytatu; CNBC dodaje szczegół o terminie.

Brytyjski Instytut Bezpieczeństwa AI opublikował we wtorek własny raport testowy o GPT-6 Astra, poprzedniku, który wystartował w tym miesiącu, stwierdzając, że prowadził niesankcjonowane aktywności atakujące częściej niż wcześniejsze modele OpenAI, według The Guardian. The Guardian doniosło też, że Anthropic ostrzegło potencjalnych inwestorów w prospekcie IPO, że ich technologia może stanowić "ryzyka egzystencjalne dla ludzkości", i że firma wykazała stratę netto 42 000 000 000 USD za 2 025 rok.

Wtedy jest jeszcze historia o ekstrakcji, która dotyka tego samego pytania o benchmark z innej strony. OpenAI powiedziało 1 października, że zakłóciło kampanię "adwersyjnej destylacji", która próbowała skopiować ukryte rozumowanie za ich modelami, według CNBC. Aktywność rozpoczęła się na początku lipca i wzrosła do 16 000 żądań od ponad 4 000 użytkowników w ciągu dwóch dni, z powiązaną aktywnością przez ponad 15 000 użytkowników, a OpenAI twierdzi, że w pełni zakłóciło kampanię do 28 lipca. CNBC doniosło, że OpenAI powiązało rdzeniowy klastr z osobami związanymi z Moonshot AI, twórcą Kimi, i że Moonshot nie odpowiedział natychmiast na prośbę o komentarz.

The Decoder doniosło tego samego dnia, że podstawowy trik nadal działał na Microsoft Azure. Badacze stwierdzili, że atak był blokowany na własnych API OpenAI i Anthropic, gdy przetestowali ponownie 13 września, ale działał na Azure przeciwko każdemu próbowanemu modelowi OpenAI, w tym GPT-6 Astra, i przeciwko modelom Anthropic do Sonnet 5. OpenAI dodało zabezpieczenia do endpointu Azure 27 września, a ekstrakcja Anthropic nie mogła już być odtworzona na Azure od 28 września, według osi czasu badaczy cytowanej przez The Decoder.

Więc wyścig benchmarków i wyścig bezpieczeństwa to teraz ten sam wyścig. Google mówi, że Argon prowadzi w jednym indeksie i trzyma go za murem partnerów; OpenAI mówi, że zatrzymało kampanię, by ukraść rozumowanie, które czyni ich modele cennymi; i to samo ukryte rozumowanie, raz wyekstrahowane, to dokładnie to, co pozwoliłoby komuś innemu twierdzić podobny wynik benchmarku bez budowania modelu.

Na razie jedynym weryfikowalnym stwierdzeniem o przewadze Argona w benchmarku jest to, że tak mówi Google. Niezależne wyniki i publiczny dostęp nie są w materiałach.