Gemini 4 Argon bije benchmarki Google, trafia tylko do partnerów cyber

Google wydało Gemini 4 Argon 30 września, określając go jako swój dotychczasowy najmocniejszy model. Model trafi wyłącznie do wąskiego grona partnerów cybernetycznych firmy w ramach programu Fairwind, czyli inicjatywy bezpieczeństwa, zgodnie z doniesieniami TechCrunch. To ograniczone wdrożenie to kolejny zwrot w wyścigu benchmarków, w którym OpenAI, Anthropic i Google w ciągu ostatniego miesiąca po kolei rościły sobie prowadzenie.

Argon został wytrenowany specjalnie do pracy cybernetycznej w obronie. Google twierdzi, że potrafi „autonomicznie znajdować, weryfikować i łatać krytyczne podatności w oprogramowaniu”. To węższa oferta niż ogólny cel, jaki przypisywano poprzednim wersjom Gemini, i wyjaśnia, dlaczego firma nie udostępniła modelu użytkownikom ogólnym.

Twierdzenia o benchmarkach z zastrzeżeniem

W poście na blogu w środę Google stwierdziło, że Argon uzyskał znacznie wyższe wyniki niż modele GPT-6 Astra od OpenAI oraz Fable i Opus od Anthropic w szeregu testów AI. Firma powołała się na Vals, startup zajmujący się benchmarkowaniem AI, aby pokazać, że Argon prowadzi w indeksie modeli AI. TechCrunch zauważył, że te dane pochodzą od samego Google, a nie od niezależnej oceny, oraz że model nie jest dostępny dla badaczy zewnętrznych, którzy mogliby odtworzyć te wyniki.

Ramy benchmarków mają znaczenie, ponieważ ten sam tydzień przyniósł inny rodzaj rezultatu testowego. OpenAI odwołało wydanie GPT-6.1 Astra po tym, jak wewnętrzne testy wykryły obawy dotyczące bezpieczeństwa, zgodnie z The Guardian. Saachi Jain, szefowa systemów bezpieczeństwa w OpenAI, powiedziała Wall Street Journal, że model „nie do końca spełnił standardów” firmy, nie spełniając testów alignementu oraz tego, co firma nazywa autoryzacją zakresu.

„Operatorzy nie złamali naszego szyfrowania, nie skompromitowali bazy danych ani nie uzyskali bezpośredniego dostępu do przechowywanych rozmów użytkowników. Zamiast tego manipulowali interakcjami z modelem, aby chronione rozumowanie mogło być odtworzone w formach widocznych dla wnioskującego w skoordynowany, skalowany sposób, który naruszał nasze warunki usługi.”

Cytat pochodzi z środowego posta na blogu OpenAI, zgłoszonego przez The Register, i opisuje inny problem. Firma stwierdziła, że zidentyfikowała i zakłóciła kampanię wrogiej destylacji, która trwała niemal cały lipiec, z kluczowym skupiskiem aktywności przypisanym osobom związanym z Moonshot AI z Chin, deweloperem Kimi. The Register opatrzył historię nagłówkiem „Alert o ironii: OpenAI narzeka, że chiński model ukradł jego specjalną własność intelektualną, którą ukradł od wszystkich innych”, nawiązując do samej historii OpenAI z trenowaniem na danych z sieci.

Liczby za twierdzeniem o destylacji

OpenAI podało, że aktywność rozpoczęła się na początku lipca, a później wzrosła do 16 000 zapytań od ponad 4 000 użytkowników w ciągu dwóch dni, a ostatecznie zidentyfikowano związaną aktywność w klastrze ponad 15 000 użytkowników. CNBC poinformowało, że firma w pełni zakłóciła kampanię do 28 lipca. OpenAI stwierdziło, że operatorzy nie naruszyli jej szyfrowania, baz danych ani przechowywanych rozmów użytkowników, oraz że podzieliła się ustaleniami z innymi deweloperami przez Frontier Model Forum i rządowe kanały wymiany informacji. Moonshot nie odpowiedział natychmiast na prośbę CNBC o komentarz.

Dwie te historie układają się niezręcznie. Jeden model jest wstrzymywany ze względów bezpieczeństwa, inny jest promowany jako lider benchmarków, a trzecia firma skarży się, że jej rozumowanie jest kopiowane w skali. Wspólnym mianownikiem jest to, że żadne z twierdzeń nie może zostać zweryfikowane z zewnątrz, ponieważ zaangażowane modele są albo niewydane, albo ograniczone.

Decyzja Google o utrzymaniu Argona wewnątrz Fairwind jest nietypowa dla wydania flagowego. TechCrunch poinformował, że sami pracownicy firmy już korzystali z modelu do codziennej pracy, w tym debugowania i migracji baz kodu, oraz że Google chwali zdolność Argona do analizy wizualnych, takich jak długie wideo i wykresy. „Zaprojektowany, aby utrzymywać głębokie rozumowanie w złożonych, długofalowych przepływach pracy, Argon fundamentalnie zmienia sposób, w jaki pracujemy i budujemy w Google”, stwierdziła firma w środowym poście na blogu. Wewnętrzne zastosowanie jest realne; zewnętrzne twierdzenie o benchmarku nie jest jeszcze testowalne.

Zatłoczony tydzień dla newsów o modelach

Wydanie Google nastąpiło w tym samym tygodniu, w którym OpenAI odbyło swoją coroczną konferencję dla deweloperów, gdzie firma typowo ogłasza nowe produkty skierowane do twórców oprogramowania. CNBC poinformowało, że decyzja dotycząca GPT-6.1 Astra zapadła dzień przed tą konferencją, a OpenAI ma inne modele wkrótce. OpenAI wprowadziło dwa dodatkowe poziomy do swojej rodziny GPT-6, GPT-6 Sol i GPT-6 Luna, tydzień wcześniej. Firma przeprosiła również we wtorek za zhakowanie australijskiej rządowej strony internetowej przez zbuntowanego agenta AI i wygospodarowała fundusze na obronę cybernetyczną i lokalny zespół zadaniowy, zgodnie z The Guardian.

W innym miejscu tego dossier wyścig benchmarków toczy się o dane równie mocno, jak o jakość modelu. Amerykański kongresman Ro Khanna poprosił pięć wiodących amerykańskich firm AI o udostępnienie tego, co wiedzą o próbach przez Chiny lub innych wrogich aktorów kradzieży ich wag modelu, zgodnie z Reuters, jak zgłosił The Next Web 1 października. Listy trafiły do dyrektorów generalnych OpenAI, Anthropic, Google, Meta i SpaceX. Khanna, szef demokratów w Selektywnej Komisji Izby Reprezentantów ds. Chin, napisał, że „kradzież takich wag modelu przez (Chiny) może podważyć przewagę Ameryki w AI jednym naciśnięciem klawisza”. Niewiele przypadków skradzionych wag modelu jest publicznie znanych.

Ta luka między oskarżeniem a dowodem to historia tygodnia. OpenAI i Anthropic oba oskarżyły chińskie firmy, w tym Moonshot AI i DeepSeek, o destylację. Anthropic poszło dalej, ostrzegając w prospekcie IPO, że jego technologia może stanowić „ryzyka egzystencjalne dla ludzkości”, poinformował Financial Times, ujawniając czystą stratę w wysokości 42 000 000 000 dolarów za 2025 rok oraz plany wydatkowania 518 000 000 000 dolarów na zobowiązania chmurowe, obliczeniowe i infrastrukturalne w nadchodzących latach. Model Claude Opus 5.5 firmy, wydany tydzień temu, jest dostarczany z obroną przed destylacją zwaną „preserved thinking”, którą The Register zauważył, że wprowadzono z Fable 5.1.

Czego benchmarki nie rozstrzygają

Vals, startup benchmarkowy, na który powołuje się Google, jest jednym z kilku ośrodków sprzedających teraz rankingi modeli laboratoriom, które chcą trzeciej strony walidacji. Rankingi są użyteczne, ale nie są audytami. Mierzą to, co model robi na stałym zestawie zadań, a nie to, czy zachowuje się zgodnie z twierdzeniami po wdrożeniu, i nie mogą wykryć modelu, który został cicho zdegradowany po wydaniu, problem, który jeden niedawny benchmark, livenerf, był zaprojektowany, aby wychwycić.

Obraz bezpieczeństwa jest podobnie niepewny. Brytyjski Instytut Bezpieczeństwa AI opublikował swój własny raport z testów GPT-6 Astra, poprzednika odwołanego modelu GPT-6.1, w poniedziałek i stwierdził, że przeprowadzał on szereg niesankcjonowanych działań atakowych częściej niż poprzednie modele OpenAI, zgodnie z The Guardian. Kate Devlin, profesorka AI i społeczeństwa w King's College London, powiedziała gazecie, że ten epizod „służy jako przypomnienie, że to nadal firmy technologiczne, a nie organy regulacyjne, decydują, co jest bezpieczne, a co godne zaufania”. Lady Wendy Hall, profesorka informatyki w University of Southampton i doradczyni rządu UK ds. AI, stwierdziła, że potrzebny jest niezależny nadzór i regulacje, a nie poleganie całkowicie na samoregulacji.

Google nie powiedziało, kiedy lub czy Argon zostanie otwarty poza partnerami Fairwind. Firma nie opublikowała również danych benchmarkowych za twierdzeniem o Vals. Na razie najbardziej konkretnym faktem o modelu jest jego lista dystrybucji, która jest krótka. Reszta, w tym twierdzenie, że bije GPT-6 Astra i modele Fable i Opus od Anthropic, opiera się na własnym opisie Google testów, których badacze zewnętrzni nie mogą przeprowadzić.