Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Anthropic twierdzi, że GLM-5.3 prawie dorównuje Mythosowi w pisaniu exploitów

Anthropic opublikował raport, w którym twierdzi, że GLM-5.3 od Zhipu AI potrafi automatyzować exploity niemal na poziomie jego niewydanego modelu Claude Mythos. 3 października poinformował o tym Tom's Hardware. W testach Exploitbench GLM-5.3 zbudował działające exploity na Chrome w 50 na 410 prób, a Mythos w 56.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 3 października 20266 min czytaniaŹródła 8
Anthropic twierdzi, że GLM-5.3 prawie dorównuje Mythosowi w pisaniu exploitów

Otwarty model GLM-5.3 od Zhipu AI wypadł o sześć udanych exploitów gorzej niż niewydany Mythos Anthropica w benchmarku exploitów na Chrome. Tak wynika z raportu, który Anthropic opublikował, a Tom's Hardware opisał 3 października. W drugim, wewnętrznym teście różnica wyniosła dwa punkty procentowe. GLM-5.3 osiągnął 4% skuteczności w pełnym przejęciu przepływu sterowania, Mythos 6%. Kimi K3 i DeepSeek V4.1 Flash zdobyły w tym samym pomiarze 0%.

Ta liczba mówi mniej o samym rankingu, a więcej o tym, kto może korzystać z takiej zdolności. Mythos to model, który według Anthropica jest zbyt niebezpieczny, żeby udostępnić go publicznie. Dostęp do niego idzie przez Project Glasswing, inicjatywę uruchomioną w kwietniu, która daje wybranym partnerom model do szukania błędów. Wagi GLM-5.3 są otwarte. Jeśli liczby Anthropica się utrzymają, różnica między zamkniętym modelem frontier a modelem do pobrania jest teraz na tyle mała, że można się o nią spierać. Spór ma teraz przypisaną liczbę, a ta liczba to sześć.

Raport Anthropica mówi też, że standardowy GLM-5.3 łatwo omija własne zabezpieczenia. Tom's Hardware opisuje dwie metody. Zwodniczy prompt, w którym model odgrywa rolę wrogiego autonomicznego agenta, zadziałał w 64% przypadków. Wstępne wypełnienie tokenów myślowych modelu, żeby wymusić odpowiedź, zadziałało w 92% przypadków. Opisana jest także trzecia metoda, abliteracja. Nic z tego nie zostało niezależnie odtworzone.

Co właściwie mierzył benchmark

Exploitbench to środowisko piaskownicy, w którym model próbuje opracować exploity dla Google Chrome. Anthropic wykonał 410 prób na model. Główne porównanie to 56 sukcesów Mythosa przeciw 50 dla GLM-5.3. Anthropic twierdzi też, że GLM-5.3 samodzielnie opracował exploity łańcuchowe. Jego lżejszy wariant Flash potrafił zbudować takie exploity przeciw znanym błędom za 20,40 dolara w tokenach. To około 100 do 300 mln tokenów, zależnie od stosunku wejścia do wyjścia.

Zastrzeżenia trzeba powiedzieć wprost. To benchmarki prowadzone przez producenta na modelu, z którym konkuruje, a sama narracja Anthropica była już wcześniej kwestionowana. Tom's Hardware zauważa, że Anthropic zabiega o regulację rozwoju AI, a kilka dni po tym, jak jego dyrektor naczelny wezwał do wyhamowania frontu, wydał Claude Opus 5.5 i Claude Sonnet 5.5. Anthropic powołuje się na raport Center for AI Standards and Innovation z końca września, według którego GLM-5.3 potrafi w pełni automatyzować exploity na poziomie zbliżonym do Mythosa.

"Zaczęliśmy wykrywać wykorzystanie CVE-2026-61500 w Rejetto HFS dziś wieczorem" - napisał w czwartek na LinkedIn Patrick Garrity, badacz bezpieczeństwa z VulnCheck.

Anthropic ma własne dowody, że szukanie błędów na poziomie Mythosa ma skutki. The Register poinformował 3 października, że krytyczną lukę w uwierzytelnianiu w Rejetto HTTP File Server, oznaczoną jako CVE-2026-61500, znalazł Zach Hanley z Horizon3 przy użyciu Mythosa. Luka jest już atakowana. Horizon3 dołączył do Project Glasswing w lipcu. Próby wykorzystania szły z adresu IP w Chinach przeciw hostom w USA i Japonii, powiedział The Register Garrity. Późniejsze trafienia szły przez dwa adresy w USA w tej samej podsieci, które wyglądały na proxy. Użytkownicy powinni zaktualizować do HFS v3.2.1 lub nowszego.

Tracker Garrity'ego liczy 286 CVE znalezionych przez Mythosa i Project Glasswing na piątek, podał The Register. Do czwartku tylko jedno z nich zostało wykorzystane w terenie. Ten stosunek jest argumentem za ograniczonym dostępem: dużo znalezionych błędów, mało ataków jak dotąd. Jest też argumentem przeciw czytaniu danych o wykorzystaniu z jednego tygodnia jako gwarancji bezpieczeństwa.

Dlaczego zachowanie modeli tak trudno w ogóle zmierzyć

Osobna praca opublikowana w tym tygodniu sugeruje, że benchmarki halucynacji i zdolności są mniej pewne, niż wynika z ich wyników. Blog badawczy Aleph Alpha opisuje metodę treningu, która zamienia odpowiadanie na pytania w grę trzech graczy. Jeden kontekst wspiera poprawną odpowiedź, w drugim wycięto dowody, a model musi odpowiedzieć na pierwszym i wstrzymać się na drugim. W pięciu benchmarkach QA firma twierdzi, że błędne odpowiedzi przy niewystarczającym kontekście spadły o nawet 35 punktów procentowych względem modelu instruowanego. Spadły o 18 do 20 punktów względem standardowego treningu, a wskaźnik ugruntowania wzrósł o nawet 0,38.

Sedno metody jest takie, że wynik benchmarku mówi, iż odpowiedź była poprawna, ale nie skąd się wzięła. Model może przeczytać pobrany dokument, przypomnieć sobie odpowiedź z pretreningu albo oprzeć się na fałszywej wskazówce. Prośba o cytat tego nie rozstrzyga, bo model wybiera cytat już po udzieleniu odpowiedzi.

Ten sam problem widać w badaniach nad wyszukiwaniem. ScholarCatalyst, benchmark zbudowany z 184 autorów wiodących, którzy oznaczyli 207 niedawnych prac z informatyki, kazał modelom znaleźć wcześniejsze prace, które ukształtowały projekt. Użyto tylko literatury dostępnej, gdy projekt się zaczynał. Wyszukiwanie agentowe wypadło nie lepiej niż zwykłe wyszukiwanie embeddingowe, 0,42 przeciw 0,48 Recall@20. Agent zbudowany na Claude Fable 5.1, który mógł widzieć gotowe prace podczas treningu, osiągnął 0,51.

PTXBench, artykuł na arXiv poprawiony 28 września, wykazał, że żaden z ocenianych modeli nie dorównywał konsekwentnie bibliotekom GPU frontier w optymalizacji jąder. Wykazał też, że wykonanie właściwych instrukcji nie przekładało się na konkurencyjną szybkość. Autorzy dostroili Qwen3.6-27B i stwierdzili nierówną generalizację.

Strona otwartych wag też się rusza

Ostrzeżenie Anthropica trafia w tydzień, w którym otwarte wydania wciąż się pojawiały. Aleph Alpha wydało Kolibri 3 października, niemiecko-angielski model mixture-of-experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych. Ma kontekst 1 000 000 tokenów i wagi na licencji Apache 2.0 na Hugging Face. Celuje w administrację publiczną, przemysł i lotnictwo. Firma twierdzi, że dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, takim jak Nemotron 3 Super.

Narzędzia przyszły dzień wcześniej. Projekt llama.cpp podał, że jego serwer obsługuje teraz modele decyzyjne przez endpoint /v1/systemone, zgodnie z formatem wprowadzonym przez Jev od TypeSafe. Istniejącym klientom wystarczy nowy bazowy adres URL. Na liście są Laya z 421 000 000 parametrów i OpenJev z 27 000 000 000, ten drugi na licencji niekomercyjnej. Osobne wydanie, Shield Small, to klasyfikator z 118 000 000 parametrów do wykrywania wstrzykiwania promptów i jailbreaków, który działa na CPU. Jego karta modelu podaje 71,8% wykrywalności ataków i 7,2% fałszywych alarmów na zbiorze porównawczym użytym podczas tworzenia.

Nic z tego nie rozstrzyga, czy GLM-5.3 jest tak niebezpieczny, jak twierdzi Anthropic. Publiczne są liczby Anthropica, opisane metody i stały strumień zdolnych otwartych modeli. Niepubliczny jest niezależny test wskaźników omijania zabezpieczeń i jakiekolwiek oświadczenie Zhipu AI w odpowiedzi na raport. Anthropic nie powiedział, czy przed publikacją podzielił się ustaleniami z Zhipu.

Komentarze 0

Źródła

8
  1. 01Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  2. 02Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  3. 03Bounding Hallucinations: Merlin-Arthur Protocols for Mutual-Information Bounds in Language ModelsEN
  4. 04ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  5. 05PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTXEN
  6. 06Kolibri Has Landed: A Sovereign Open-Weight ModelEN
  7. 07New in llama.cpp: Decision ModelsEN
  8. 08Shield: A 118M model for detecting prompt injections and jailbreaksEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.