Anthropic twierdzi, że GLM-5.3 prawie dorównuje Mythosowi w pisaniu exploitów
Anthropic opublikował raport, w którym twierdzi, że GLM-5.3 od Zhipu AI potrafi automatyzować exploity niemal na poziomie jego niewydanego modelu Claude Mythos. 3 października poinformował o tym Tom's Hardware. W testach Exploitbench GLM-5.3 zbudował działające exploity na Chrome w 50 na 410 prób, a Mythos w 56.

Otwarty model GLM-5.3 od Zhipu AI wypadł o sześć udanych exploitów gorzej niż niewydany Mythos Anthropica w benchmarku exploitów na Chrome. Tak wynika z raportu, który Anthropic opublikował, a Tom's Hardware opisał 3 października. W drugim, wewnętrznym teście różnica wyniosła dwa punkty procentowe. GLM-5.3 osiągnął 4% skuteczności w pełnym przejęciu przepływu sterowania, Mythos 6%. Kimi K3 i DeepSeek V4.1 Flash zdobyły w tym samym pomiarze 0%.
Ta liczba mówi mniej o samym rankingu, a więcej o tym, kto może korzystać z takiej zdolności. Mythos to model, który według Anthropica jest zbyt niebezpieczny, żeby udostępnić go publicznie. Dostęp do niego idzie przez Project Glasswing, inicjatywę uruchomioną w kwietniu, która daje wybranym partnerom model do szukania błędów. Wagi GLM-5.3 są otwarte. Jeśli liczby Anthropica się utrzymają, różnica między zamkniętym modelem frontier a modelem do pobrania jest teraz na tyle mała, że można się o nią spierać. Spór ma teraz przypisaną liczbę, a ta liczba to sześć.
Raport Anthropica mówi też, że standardowy GLM-5.3 łatwo omija własne zabezpieczenia. Tom's Hardware opisuje dwie metody. Zwodniczy prompt, w którym model odgrywa rolę wrogiego autonomicznego agenta, zadziałał w 64% przypadków. Wstępne wypełnienie tokenów myślowych modelu, żeby wymusić odpowiedź, zadziałało w 92% przypadków. Opisana jest także trzecia metoda, abliteracja. Nic z tego nie zostało niezależnie odtworzone.
Co właściwie mierzył benchmark
Exploitbench to środowisko piaskownicy, w którym model próbuje opracować exploity dla Google Chrome. Anthropic wykonał 410 prób na model. Główne porównanie to 56 sukcesów Mythosa przeciw 50 dla GLM-5.3. Anthropic twierdzi też, że GLM-5.3 samodzielnie opracował exploity łańcuchowe. Jego lżejszy wariant Flash potrafił zbudować takie exploity przeciw znanym błędom za 20,40 dolara w tokenach. To około 100 do 300 mln tokenów, zależnie od stosunku wejścia do wyjścia.
Zastrzeżenia trzeba powiedzieć wprost. To benchmarki prowadzone przez producenta na modelu, z którym konkuruje, a sama narracja Anthropica była już wcześniej kwestionowana. Tom's Hardware zauważa, że Anthropic zabiega o regulację rozwoju AI, a kilka dni po tym, jak jego dyrektor naczelny wezwał do wyhamowania frontu, wydał Claude Opus 5.5 i Claude Sonnet 5.5. Anthropic powołuje się na raport Center for AI Standards and Innovation z końca września, według którego GLM-5.3 potrafi w pełni automatyzować exploity na poziomie zbliżonym do Mythosa.
"Zaczęliśmy wykrywać wykorzystanie CVE-2026-61500 w Rejetto HFS dziś wieczorem" - napisał w czwartek na LinkedIn Patrick Garrity, badacz bezpieczeństwa z VulnCheck.
Anthropic ma własne dowody, że szukanie błędów na poziomie Mythosa ma skutki. The Register poinformował 3 października, że krytyczną lukę w uwierzytelnianiu w Rejetto HTTP File Server, oznaczoną jako CVE-2026-61500, znalazł Zach Hanley z Horizon3 przy użyciu Mythosa. Luka jest już atakowana. Horizon3 dołączył do Project Glasswing w lipcu. Próby wykorzystania szły z adresu IP w Chinach przeciw hostom w USA i Japonii, powiedział The Register Garrity. Późniejsze trafienia szły przez dwa adresy w USA w tej samej podsieci, które wyglądały na proxy. Użytkownicy powinni zaktualizować do HFS v3.2.1 lub nowszego.
Tracker Garrity'ego liczy 286 CVE znalezionych przez Mythosa i Project Glasswing na piątek, podał The Register. Do czwartku tylko jedno z nich zostało wykorzystane w terenie. Ten stosunek jest argumentem za ograniczonym dostępem: dużo znalezionych błędów, mało ataków jak dotąd. Jest też argumentem przeciw czytaniu danych o wykorzystaniu z jednego tygodnia jako gwarancji bezpieczeństwa.
Dlaczego zachowanie modeli tak trudno w ogóle zmierzyć
Osobna praca opublikowana w tym tygodniu sugeruje, że benchmarki halucynacji i zdolności są mniej pewne, niż wynika z ich wyników. Blog badawczy Aleph Alpha opisuje metodę treningu, która zamienia odpowiadanie na pytania w grę trzech graczy. Jeden kontekst wspiera poprawną odpowiedź, w drugim wycięto dowody, a model musi odpowiedzieć na pierwszym i wstrzymać się na drugim. W pięciu benchmarkach QA firma twierdzi, że błędne odpowiedzi przy niewystarczającym kontekście spadły o nawet 35 punktów procentowych względem modelu instruowanego. Spadły o 18 do 20 punktów względem standardowego treningu, a wskaźnik ugruntowania wzrósł o nawet 0,38.
Sedno metody jest takie, że wynik benchmarku mówi, iż odpowiedź była poprawna, ale nie skąd się wzięła. Model może przeczytać pobrany dokument, przypomnieć sobie odpowiedź z pretreningu albo oprzeć się na fałszywej wskazówce. Prośba o cytat tego nie rozstrzyga, bo model wybiera cytat już po udzieleniu odpowiedzi.
Ten sam problem widać w badaniach nad wyszukiwaniem. ScholarCatalyst, benchmark zbudowany z 184 autorów wiodących, którzy oznaczyli 207 niedawnych prac z informatyki, kazał modelom znaleźć wcześniejsze prace, które ukształtowały projekt. Użyto tylko literatury dostępnej, gdy projekt się zaczynał. Wyszukiwanie agentowe wypadło nie lepiej niż zwykłe wyszukiwanie embeddingowe, 0,42 przeciw 0,48 Recall@20. Agent zbudowany na Claude Fable 5.1, który mógł widzieć gotowe prace podczas treningu, osiągnął 0,51.
PTXBench, artykuł na arXiv poprawiony 28 września, wykazał, że żaden z ocenianych modeli nie dorównywał konsekwentnie bibliotekom GPU frontier w optymalizacji jąder. Wykazał też, że wykonanie właściwych instrukcji nie przekładało się na konkurencyjną szybkość. Autorzy dostroili Qwen3.6-27B i stwierdzili nierówną generalizację.
Strona otwartych wag też się rusza
Ostrzeżenie Anthropica trafia w tydzień, w którym otwarte wydania wciąż się pojawiały. Aleph Alpha wydało Kolibri 3 października, niemiecko-angielski model mixture-of-experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych. Ma kontekst 1 000 000 tokenów i wagi na licencji Apache 2.0 na Hugging Face. Celuje w administrację publiczną, przemysł i lotnictwo. Firma twierdzi, że dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, takim jak Nemotron 3 Super.
Narzędzia przyszły dzień wcześniej. Projekt llama.cpp podał, że jego serwer obsługuje teraz modele decyzyjne przez endpoint /v1/systemone, zgodnie z formatem wprowadzonym przez Jev od TypeSafe. Istniejącym klientom wystarczy nowy bazowy adres URL. Na liście są Laya z 421 000 000 parametrów i OpenJev z 27 000 000 000, ten drugi na licencji niekomercyjnej. Osobne wydanie, Shield Small, to klasyfikator z 118 000 000 parametrów do wykrywania wstrzykiwania promptów i jailbreaków, który działa na CPU. Jego karta modelu podaje 71,8% wykrywalności ataków i 7,2% fałszywych alarmów na zbiorze porównawczym użytym podczas tworzenia.
Nic z tego nie rozstrzyga, czy GLM-5.3 jest tak niebezpieczny, jak twierdzi Anthropic. Publiczne są liczby Anthropica, opisane metody i stały strumień zdolnych otwartych modeli. Niepubliczny jest niezależny test wskaźników omijania zabezpieczeń i jakiekolwiek oświadczenie Zhipu AI w odpowiedzi na raport. Anthropic nie powiedział, czy przed publikacją podzielił się ustaleniami z Zhipu.
Źródła
8- 01Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 02Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 03Bounding Hallucinations: Merlin-Arthur Protocols for Mutual-Information Bounds in Language ModelsEN
- 04ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 05PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTXEN
- 06Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 07New in llama.cpp: Decision ModelsEN
- 08Shield: A 118M model for detecting prompt injections and jailbreaksEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.