Anthropic podaje liczby: GLM-5.3 buduje exploity w 50 na 410 prób, Mythos w 56
Nowy raport Anthropic o red teamingu twierdzi, że otwarty model GLM-5.3 od Zhipu AI potrafi zbudować pełne exploity w 50 z 410 prób, niewiele mniej niż nieudostępniony Mythos z 56. Informuje o tym Tom's Hardware.

Anthropic opublikował w tym tygodniu raport, w którym przekonuje, że popularny chiński model z otwartymi wagami robi wiele z tego, co potrafi jego zamknięty model do szukania błędów. Tom's Hardware podał 3 października, że firma sprawdziła GLM-5.3 od Zhipu AI w piaskownicy Exploitbench. Modele próbują tam zbudować działający exploit dla Google Chrome.
GLM-5.3 udało się to 50 razy na 410 prób. Claude Mythos od Anthropic poradził sobie 56 razy przy tej samej liczbie podejść. Różnica wynosi najwyżej siedem punktów procentowych. Raport nadaje liczbę temu, o czym regulatorzy mówią od miesięcy: możliwości, które Anthropic trzyma za zamkniętymi drzwiami, można już pobrać.
Te same testy pokazują, że dystans nie jest równy. W wewnętrznym benchmarku pełnego przejęcia przepływu sterowania GLM-5.3 osiągnął 4% skuteczności, a Mythos 6%. Dwa inne modele z otwartymi wagami, Kimi K3 i DeepSeek V4.1 Flash, wypadły w tym pomiarze na 0%, wynika z tego samego raportu.
Druga połowa tezy dotyczy zabezpieczeń. Tom's Hardware pisze, że Anthropic obejdział bariery GLM-5.3 zwodniczym promptem w 64% prób, a wstępnie wypełnionymi tokenami rozumowania w 92%. Raport opisuje też trzecią metodę, abliterację. Anthropic powołuje się na raport Center for AI Standards and Innovation z końca września, według którego GLM-5.3 potrafi w pełni zautomatyzować exploity na poziomie zbliżonym do Mythos.
Koszty to najbardziej konkretna część historii. Anthropic podaje, że lżejszy GLM-5.3-Flash zbudował łańcuchowe exploity na znanych błędach za 20,40 dolara w tokenach. Exploity łańcuchowe łączą kilka luk i właśnie one odróżniają dowód koncepcji od włamania.
Dlaczego porównanie z Mythos ma znaczenie
Mythos nie jest ogólnie dostępny. Anthropic daje go wybranym partnerom w ramach Project Glasswing, inicjatywy ogłoszonej w kwietniu. Obietnica jest taka, że obrońcy dostają model pierwsi, więc błędy zostaną załatane, zanim napastnicy wezmą do ręki to samo narzędzie.
Powyższe liczby podważają ten harmonogram. Jeśli model za 20,40 dolara potrafi łączyć exploity, okno między wykryciem a wykorzystaniem jest krótkie. Ani Anthropic, ani Zhipu AI nie powiedziały, jak raport zmieni zasady dostępu, a Zhipu AI nie odniosło się publicznie do konkretnych twierdzeń z benchmarku.
Strona obronna ma własne dowody. The Register podał 3 października, że krytyczną lukę w Rejetto HTTP File Server, polegającą na obejściu uwierzytelniania i oznaczoną jako CVE-2026-61500, znalazł Mythos, a kilka dni później ktoś wykorzystał ją w ataku. Badacz z Horizon3 Zach Hanley, który odkrył błąd, opublikował nagranie z exploitacją. Użytkownicy powinni zaktualizować oprogramowanie do v3.2.1 lub nowszego.
"Zaczęliśmy wykrywać wykorzystanie CVE-2026-61500 w Rejetto HFS dziś wieczorem" - napisał w czwartek na LinkedIn badacz z VulnCheck Patrick Garrity, cytowany przez The Register.
Garrity powiedział The Register, że czwartkowa aktywność szła z jednego adresu IP w Chinach i celowała w podatne hosty w USA i Japonii. Do piątku zobaczył cztery trafienia z dwóch amerykańskich adresów w tej samej podsieci, które jego zdaniem wyglądały na proxy. Jego licznik obejmuje 286 CVE znalezionych przez Mythos i Project Glasswing; do tamtego czwartku wykorzystano tylko jedno.
To benchmark, który waży więcej niż jakikolwiek wynik. Model, który znajduje błędy szybciej, niż dostawcy je łatają, przenosi ryzyko na każdego, kto używa niezałatanego oprogramowania. HFS trafił już do katalogu Known Exploited Vulnerabilities prowadzonego przez CISA w 2024 roku.
Rozumowanie to nie to samo co decyzja
Problem pomiaru przewija się przez resztę wydań AI z tego tygodnia. Aleph Alpha opublikowała 3 października Kolibri, model mixture-of-experts z 78 000 000 000 parametrów, z których 3 000 000 000 jest aktywnych, z kontekstem 1 000 000 tokenów i wagami na licencji Apache 2.0. Firma twierdzi, że dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, takim jak Nemotron 3 Super, i przyznaje, że publiczne benchmarki nie pokrywają potrzeb branżowych, więc zbudowała własne.
Mniejsze narzędzia celują w węższe pytania. Projekt llama.cpp dodał 2 października endpoint modelu decyzyjnego, o czym piszą Xuan-Son Nguyen i Victor Mustar we wpisie społeczności Hugging Face. Zwraca prawdopodobieństwo dla każdej opcji w jednym przebiegu propagacji w przód. ZeroLeaks udostępnił Shield Small, klasyfikator iniekcji promptów z 118 000 000 parametrów. Podaje 84,3% średniej dokładności ważonej kategoriami ze swoimi regułami, ale sama karta modelu nazywa tę liczbę znanym zbiorem testowym, a nie oceną na niewidzianych danych.
Benchmarki badawcze pokazują tę samą nierówność. Praca na arXiv, poprawiona 28 września, przedstawia PTXBench do pracy nad jądrami GPU. Żaden oceniany model nie dorównywał konsekwentnie bibliotekom frontier, a skuteczność spadała na złożonych zadaniach wstecznej propagacji uwagi. ScholarCatalyst, benchmark wyszukiwania zbudowany z 184 wiodących autorów i 207 prac, pokazał wynik wyszukiwania agentowego na poziomie 0,42 Recall@20 wobec 0,48 dla zwykłego wyszukiwania na embeddingach.
Te wyniki są użytecznym przeciwciężarem dla liczb exploitów. Model może wyglądać mocno w jednym zadaniu i zwyczajnie w następnym, a wybrany benchmark decyduje o nagłówku. Raportu Anthropic nikt niezależnie nie odtworzył, a Exploitbench to własne narzędzie firmy.
Źródła
8- 01Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 02Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 03Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 04New in Llama.cpp: Decision ModelsEN
- 05Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 06PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
- 07ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 08What does the advent of powerful AI models mean for mathematicians like me?EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.