Anthropic przetestował GLM-5.3 od Zhipu. Efekty bliskie własnemu Mythosowi
Anthropic twierdzi, że otwarty model GLM-5.3 firmy Zhipu AI zbudował działające exploity na Chrome 50 razy w 410 próbach. To niewiele mniej niż ich własny, nieudostępniony Mythos z 56 udanymi próbami. Opisuje to Tom's Hardware w materiale z 3 października.

Z raportu Anthropica wynika, że chiński model nie jest daleko w tyle. W Exploitbench, piaskownicy, w której modele mają opracować exploity dla Google Chrome, GLM-5.3 odniósł sukces 50 razy na 410 przebiegów. Mythos osiągnął 56. Tom's Hardware podał te liczby 3 października.
Mniej istotna jest różnica, bardziej kierunek. Anthropic od miesięcy przekonuje, że Mythos jest zbyt niebezpieczny, by go wydać. Dlatego prowadzi Project Glasswing, program dający wybranym partnerom dostęp do modelu klasy Mythos do szukania błędów. Teraz raport mówi, że model, który każdy może pobrać, zbliża się do tej zdolności o kilka udanych przebiegów. Anthropic sprawdził też GLM-5.3 na wewnętrznym benchmarku pełnego przejęcia przepływu sterowania. Tam model uzyskał 4% skuteczności wobec 6% Mythosa. Kimi K3 i DeepSeek V4.1 Flash zdobyły w tym samym pomiarze 0%. Czego raport nie mówi: jaka część tej różnicy zostaje, gdy obrońcy łatają szybciej, i czy wyniki się utrzymują poza środowiskiem testowym Anthropica.
Tania jest druga połowa tej tezy.
Według Anthropica lżejszy wariant GLM-5.3-Flash zbudował łańcuchowe exploity na znane błędy za rachunek za tokeny wynoszący $20.40. W zależności od proporcji wejścia do wyjścia to od 100 do 300 mln tokenów. Exploity łańcuchowe są trudniejsze niż pojedyncze błędy, bo każdy krok zależy od poprzedniego. Model, który potrafi to za cenę jedzenia na wynos, zmienia to, kto może próbować.
Zabezpieczenia, które schodzą po jednym prompcie
Anthropic badał też, jak łatwo GLM-5.3 wymyka się własnym zabezpieczeniom. Raport podaje dwie działające metody. Zwodniczy prompt, który przedstawia model jako wrogiego autonomicznego agenta, zadziałał w 64% przypadków. Wstępne wypełnienie tokenów myślowych, tak że odpowiedź już się zaczyna, zanim model zdecyduje, zadziałało w 92%. Trzecia metoda, abliteracja, czyli usunięcie z wag zachowania odmownego, też jest opisana. Anthropic powołuje się na ocenę Center for AI Standards and Innovation z końca września, która doszła do tego samego wniosku o zdolności GLM-5.3 do automatyzacji exploitów. Żaden z tych punktów nie dotyczy usterki, którą Zhipu przyznał. Zhipu nie odpowiedział publicznie w dostępnych materiałach.
Dla Anthropica to niezręczny moment. Tom's Hardware zauważa, że dyrektor generalny Dario Amodei wzywał branżę do wyznaczenia tempa rozwoju frontu. Claude Opus 5.5 i Claude Sonnet 5.5 trafiły na rynek kilka dni po tych apelach. Firma ma też, jak się donosi, przymierzać się do IPO. Raport, który mówi, że otwarci rywale nadganiają, pasuje do obu argumentów: uzasadnia trzymanie Mythosa zamkniętym i przemawia za przepisami, które wiązałyby wszystkich innych.
Błędy znalezione przez Mythosa są już wykorzystywane w sieci
Problem nie jest hipotetyczny. The Register podał 3 października, że krytyczna luka w uwierzytelnianiu w Rejetto HTTP File Server, oznaczona jako CVE-2026-61500, została znaleziona przy pomocy Mythosa i jest już atakowana. Badacz Zach Hanley z Horizon3 powiedział, że użył modelu do odkrycia błędu, który może dać pełny dostęp administratora i zdalne wykonanie kodu. Użytkownicy powinni zaktualizować do wersji 3.2.1 lub nowszej.
Badacz z VulnCheck Patrick Garrity powiedział, że jego firma zaczęła wykrywać eksploatację w czwartek wieczorem. Pierwsza aktywność pochodziła z adresu IP w Chinach i celowała w podatne hosty w USA i Japonii. Do piątku, jak powiedział Garrity The Register, pojawiły się cztery kolejne trafienia z dwóch adresów w USA, które wyglądają na proxy. Jego tracker liczy 286 CVE znalezionych przez Mythosa i Project Glasswing. Do czwartku tylko jeden z nich był wykorzystany w prawdziwych atakach.
„Zaczęliśmy wykrywać eksploatację CVE-2026-61500 w Rejetto HFS dziś wieczorem” – napisał Garrity w czwartek na LinkedIn, według The Register.
Horizon3 dołączył do Project Glasswing w lipcu i od tamtej pory używa Mythosa we własnych badaniach podatności, napisał Hanley. Takie jest zamierzone zastosowanie: model znajduje błędy, żeby ludzie mogli je najpierw załatać. Przypadek Rejetto pokazuje, jak krótki bywa ten zapas czasu, gdy publiczny opis i nagranie z działającym exploithem pojawiają się jednocześnie.
Tymczasem otwarte modele wciąż się ukazują
Argument Anthropica trafia w tłoczny tydzień premier modeli. Aleph Alpha wydała Kolibri 3 października, angielsko-niemiecki transformer typu mixture-of-experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych, oknem kontekstu do 1 000 000 tokenów i wagami na Hugging Face na licencji Apache 2.0. Firma kieruje go do administracji publicznej, przemysłu i lotnictwa, gdzie dane nie mogą opuścić budynku. Aleph Alpha twierdzi, że Kolibri dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, takim jak Nemotron 3 Super, w zadaniach matematycznych, kodowaniu, grounding i długim kontekście.
Mniejsze premiery pokazują ten sam wzorzec specjalizacji. llama.cpp dodała 2 października endpoint /v1/systemone dla modeli decyzyjnych, od Julia-1 po 27 000 000 000-parametrowy OpenJev. ZeroLeaks opublikowała Shield Small 2 października, klasyfikator o 118 000 000 parametrów do wykrywania prompt injection i jailbreaków, który działa na CPU z 118 MB wag int8. Opublikowane porównanie, przeprowadzone z Shield rules v2 przy progu 0.5, podaje 84.3% średniej dokładności ważonej kategoriami, 71.8% wykrywalności ataków i 7.2% odsetka fałszywych alarmów na 35 publicznych zbiorach danych. To wyniki całego systemu, nie samego modelu.
Modele obrazu idą tym samym rytmem. Ideogram wypuścił wersję 4.5 3 października, nastawioną na wieloturowe edycje w natywnej rozdzielczości 2K, ze stałą ceną za obraz od $0.008 do $0.22 w zależności od poziomu jakości. Strony pomocy Google Gemini podają, że zmiany w dostępie do modeli dla kont osobistych zaczną obowiązywać 9 października. Automatyczny wybór modelu stanie się domyślny dla użytkowników bez płatnego planu, a większość promptów trafi do Flash-Lite.
Benchmarki też dostają własną weryfikację rzeczywistości
Trudniejsze pytanie brzmi, co te liczby właściwie mierzą. PTXBench, zaktualizowany 28 września, sprawdza, czy modele językowe potrafią pisać kod PTX specyficzny dla architektury dla jąder GPU. Autorzy stwierdzili, że skuteczność gwałtownie spada przy złożonych zadaniach wstecznej propagacji attention. Wykonanie docelowych instrukcji nie musi dawać konkurencyjnej szybkości. Żaden z ocenianych modeli nie dorównał konsekwentnie wiodącym bibliotekom w całym zestawie.
Wyszukiwanie prac naukowych pokazuje ten sam sufit z innej strony. ScholarCatalyst, zbudowany z etykiet 184 wiodących autorów 207 niedawnych prac z informatyki, kazał modelom znaleźć wcześniejsze prace, które ukształtowały projekt, korzystając tylko z literatury dostępnej w chwili jego rozpoczęcia. Wyszukiwanie agentowe wypadło nie lepiej niż zwykłe wyszukiwanie embeddingowe, 0.42 wobec 0.48 Recall@20. Nawet agent zbudowany na Claude Fable 5.1 osiągnął tylko 0.51.
Ramy, które podaje sam Anthropic, zachęcają do sceptycyzmu. Firma sprzedająca zamknięte modele publikuje benchmarki, które przedstawiają otwarte modele jako niebezpieczne, używając testów własnego projektu i własnego przeprowadzenia. Liczby z Exploitbench są konkretne i w zasadzie powtarzalne. To, czy GLM-5.3 jest dla atakującego równie użyteczny, jak sugeruje wynik 50 na 410, zależy od rzeczy, których raport nie mierzy. Jak często exploit działa poza piaskownicą? Jak szybko cel zostaje załatany? Czy model potrzebuje człowieka, który wskaże mu właściwy błąd?
Publiczne i sprawdzalne jest mniej. Błąd znaleziony przez Mythosa jest wykorzystywany. Chiński model z otwartymi wagami wypada blisko Mythosa w testach Anthropica. A kalendarz premier otwartych wag nie zwolnił.
Źródła
9- 01Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 02Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 03Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 04New in llama.cpp: Decision ModelsEN
- 05Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 06Ideogram 4.5: The most precise edit modelEN
- 07Changes to Gemini model access and limitsEN
- 08PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
- 09ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.