Lokalny model 9B przeaudytował 27 489 CVE. W 4,2% brakuje wpływu na bezpieczeństwo
Eksperyment z lokalnym modelem Cloudflare Clef Flash 9B objął 27 489 najnowszych rekordów podatności. Okazało się, że 4,2% CVE spoza jądra Linux nie mówi, jaki wpływ na bezpieczeństwo ma błąd, a ta luka utrudnia automatyczne działania obronne.

4 października 2026 roku na blogu Jerry'ego Gamblina ukazało się nowe badanie. Autor próbuje rozwiązać stary problem klasyfikacji w działaniach zespołów bezpieczeństwa. Uruchomił lokalne modele językowe na dużym zbiorze świeżych ujawnień.
Analitycy od dawna mają kłopot z ustaleniem, czy opublikowany rekord podatności naprawdę wyjaśnia, dlaczego błąd ma znaczenie dla obrońcy. Chodzi nie tylko o odczyt pól, ale o zrozumienie samego opisu. Gamblin, członek grup roboczych programu CVE, zaznacza, że wyniki nie są oficjalnym stanowiskiem programu. W badaniu użył nowego endpointu decyzyjnego Ollamy, żeby uruchomić modele Clef od Cloudflare na MacBooku. Dla każdego CVE opublikowanego między 4 sierpnia a 3 października 2026 roku model odpowiadał na dwa pytania: czy opis mówi, dlaczego błąd ma znaczenie, i czy jest jasny.
Całość opiera się na nowym typie interfejsu modeli, wprowadzonym w Ollamie 0.35. Te modele nie generują swobodnego tekstu. Przyjmują stan i zestaw typowanych pytań, a zwracają wybory, prawdopodobieństwa odpowiedzi tak lub nie oraz oceny punktowe.
Wyniki są uderzająco proste. Poza jądrem Linux 989 z 23 736 opisów, czyli 4,2 procent, nigdy nie mówi, co atakujący mógłby zrobić. To mniej więcej jeden rekord na 24. Jądro Linux wypada inaczej z powodu swojej opublikowanej polityki, która zostawia ocenę wpływu użytkownikowi. Dlatego 3 661 z jego 3 753 rekordów nie podaje wpływu. Po połączeniu obu zbiorów liczba rośnie do 4 650 z 27 489, co daje 16,9 procent całego zbioru.
Weryfikacja dwuetapowa ogranicza fałszywe alarmy
Jeden model 9 000 000 000 parametrów to za mało, żeby wyciągać ostateczne wnioski. Autor przyznaje, że sam Clef Flash jest zbyt surowy. Żeby to złagodzić, badanie sięgnęło po drugi model, pełny Clef o 27 000 000 000 parametrów, który ponownie przeczytał wszystko oznaczone jako "brak wpływu" poza jądrem. Ten dwuetapowy proces ma odfiltrować fałszywe negatywy, czyli przypadki, w których mniejszy model przeoczy subtelny sygnał ryzyka.
Model 27 000 000 000 parametrów odwrócił 1 198 z 2 187 pierwotnych oznaczeń, czyli 54,8 procent. Ta wysoka korekta pokazuje, jak trudne jest zadanie. Żeby sprawdzić końcowy wynik, autor porównał odpowiedzi modelu z zestawem 129 opublikowanych CVE, które oznaczył ręcznie. Odpowiedź dwuetapowa wychwyciła 15 z 16 rekordów, które sam uznał za niemówiące o wpływie. Co ważne, nigdy nie nazwała "nie" jednej z jego etykiet "tak", co wskazuje na wysoką precyzję w wykrywaniu negatywów.
Clef Flash odpowiadał na oba pytania dla każdego nowego CVE w medianie poniżej sekundy na laptopie. Nie było potrzeby klucza API ani rachunku do zapłacenia. Taki profil szybkości i kosztu sprawia, że organizacje mogą audytować własne potoki zarządzania podatnościami bez polegania na usługach w chmurze czy zamkniętych API.
Kontekst lokalnego wnioskowania
Badanie wpisuje się w szerszy nurt przenoszenia zaawansowanych możliwości AI na lokalny sprzęt. Endpoint decyzyjny Ollamy jest konkretnym przykładem tej zmiany. Pozwala traktować modele językowe jak klasyfikatory, a nie generatory tekstu. To przydaje się zwłaszcza tam, gdzie potrzebne są ustrukturyzowane wyniki, na przykład przy segregacji zgłoszeń bezpieczeństwa, gdzie koszt zmyślonego zdania jest znacznie wyższy niż koszt błędnej etykiety.
Same modele to dostrojone wersje architektur z otwartymi wagami. Clef to model 27 000 000 000 parametrów dostrojony z Qwen 3.8, a Clef Flash to model 9 000 000 000 parametrów dostrojony z Qwen 3.5. Oba są hostowane na platformie Workers AI od Cloudflare, ale badanie przeprowadzono w całości na lokalnym laptopie. To rozróżnienie ma znaczenie, bo pokazuje, że użyteczność tych modeli nie zależy od scentralizowanej infrastruktury. Zespół bezpieczeństwa może pobrać model i uruchomić audyt na własnym sprzęcie, dzięki czemu wrażliwe dane o podatnościach nie opuszczają sieci.
Zbiór danych obejmuje 60 dni, od 4 sierpnia do 3 października 2026 roku. Ta świeżość jest istotna dla zrozumienia obecnego stanu praktyk ujawniania podatności. 27 489 rekordów to duża objętość danych, ale lokalne wnioskowanie czyni ją możliwą do opanowania. Mediana poniżej sekundy na rekord oznacza, że cały audyt można zamknąć w kilka godzin na standardowym sprzęcie konsumenckim.
Znaczenie dla automatyzacji obrony
Odkrycie, że 4,2 procent CVE spoza jądra nie podaje wpływu na bezpieczeństwo, ma bezpośrednie znaczenie dla automatycznych systemów obronnych. Wiele narzędzi bezpieczeństwa opiera się na opisach CVE przy ustalaniu priorytetów łatania. Jeśli opis nie wyjaśnia wpływu, narzędzie nie oceni ryzyka poprawnie. Ta luka zmusza obrońców do ręcznego przeglądu albo sięgania po zewnętrzne bazy, co wprowadza opóźnienia i niespójności.
Autor przekonuje, że lokalne modele mogą tę lukę zasypać, dając spójną i skalowalną metodę oceny jakości rekordów CVE. Weryfikacja dwuetapowa, z mniejszym modelem do wstępnego filtrowania i większym do ponownej oceny, daje równowagę między szybkością a dokładnością. To podejście można zaadaptować w innych dziedzinach wymagających ustrukturyzowanej klasyfikacji, na przykład w analizie logów albo segregacji zgłoszeń incydentów.
Doświadczenie autora w grupach roboczych programu CVE dodaje wynikom wagi, choć sam wyraźnie zaznacza, że nie są oficjalnym stanowiskiem. To rozróżnienie ma znaczenie, bo pozwala na niezależną weryfikację i krytykę. Przejrzystość metody, w tym użycie modeli z otwartymi wagami i publikacja struktury zapytań, pozwala innym badaczom powtórzyć eksperyment i sprawdzić wyniki.
Porównanie możliwości modeli
Wybór Clef Flash i Clef do tego zadania nie jest przypadkowy. Endpoint decyzyjny w Ollamie 0.35 powstał właśnie z myślą o takiej pracy klasyfikacyjnej. Modele są dostrojone do obsługi typowanych pytań, co daje precyzyjną kontrolę nad wynikiem. To kontrast wobec modeli czatu ogólnego przeznaczenia, które potrafią produkować rozwlekłe lub niespójne odpowiedzi trudne do automatycznego odczytu.
Rozmiar 9 000 000 000 parametrów w Clef Flash sprawia, że nadaje się do lokalnego uruchomienia na sprzęcie konsumenckim. Model 27 000 000 000 parametrów wymaga więcej zasobów, ale daje wyższą dokładność na etapie ponownej oceny. To dwupoziomowe podejście pozwala organizacjom skalować audyty według możliwości sprzętu i wymaganej dokładności. Mały zespół z ograniczonymi zasobami może użyć tylko modelu 9 000 000 000 parametrów do szybkiego przeglądu, a większa organizacja sięgnąć po proces dwuetapowy dla bardziej rygorystycznego audytu.
Badanie podkreśla też wagę jakości danych w działaniach bezpieczeństwa. Luka 4,2 procent w opisach wpływu to nie statystyczna ciekawostka, ale praktyczna przeszkoda w skutecznej obronie. Wskazując ją, badanie daje punkt odniesienia do mierzenia poprawy jakości opisów CVE. Proponuje też narzędzie do śledzenia tej jakości w czasie, które pozwala organizacjom sprawdzać, czy praktyki ujawniania się poprawiają, czy pogarszają.
Powtarzalność i otwarte źródła
Mocną stroną badania jest jego powtarzalność. Modele są dostępne na Hugging Face, kod endpointu decyzyjnego Ollamy jest otwarty, a zbiór CVE publicznie dostępny. Ta przejrzystość pozwala innym badaczom powtórzyć eksperyment, sprawdzić wyniki i rozszerzyć analizę na inne okresy lub rodziny modeli. Użycie modeli z otwartymi wagami sprawia też, że metoda nie zależy od zamkniętego API jednego dostawcy.
Skupienie na lokalnym wnioskowaniu jest szczególnie istotne w obecnej sytuacji wokół prywatności i bezpieczeństwa danych. Wiele organizacji waha się przed wysyłaniem wrażliwych danych do usług AI w chmurze z obawy o wyciek albo uzależnienie od dostawcy. Możliwość uruchomienia tych modeli lokalnie odpowiada na te obawy, dając bezpieczną i prywatną metodę audytu rekordów podatności. To duża zaleta dla firm z branż regulowanych, takich jak finanse czy ochrona zdrowia, gdzie ochrona danych jest nadrzędna.
Wyniki mają szersze znaczenie dla dziedziny bezpieczeństwa napędzanego przez AI. W miarę jak modele językowe stają się zdolniejsze, ich rola w działaniach bezpieczeństwa prawdopodobnie będzie rosnąć. Możliwość użycia lokalnych modeli do klasyfikacji takiej jak ta sugeruje, że AI może być skutecznym narzędziem poprawy jakości i wydajności procesów bezpieczeństwa. Pokazuje jednak także potrzebę starannej walidacji i weryfikacji, co widać po dwuetapowym procesie zastosowanym w badaniu.
Kierunki na przyszłość
Badanie otwiera kilka ścieżek dalszych prac. Jedna to rozszerzenie analizy na inne rodzaje danych o bezpieczeństwie, na przykład raporty o incydentach czy kanały informacji o zagrożeniach. To samo podejście klasyfikacyjne można zastosować do oceny jakości i jasności tych dokumentów, dając spójną metodę ustalania priorytetów reakcji. Inna ścieżka to sprawdzenie innych architektur modeli albo technik dostrajania pod kątem lepszej dokładności klasyfikacji.
Badanie stawia też pytania o rolę AI w samym programie CVE. Autor zaznacza, że wyniki nie są oficjalnym stanowiskiem, ale mogą one kształtować przyszłe polityki i wytyczne dotyczące jakości opisów CVE. Użycie AI do audytu tych opisów mogłoby stać się standardową częścią procesu CVE, zapewniając, że wszystkie rekordy spełniają minimalny próg jasności i informacji o wpływie. Obrońcy zyskaliby wtedy bardziej wiarygodne dane do swoich decyzji.
Badanie pokazuje potencjał lokalnych modeli językowych w analizie bezpieczeństwa. Dzięki dwuetapowej weryfikacji z modelami z otwartymi wagami autor daje solidną i powtarzalną metodę oceny jakości opisów CVE. Wyniki wskazują na dużą lukę w obecnych praktykach ujawniania i proponują narzędzie do jej zamknięcia. W miarę jak AI się rozwija, jej rola w działaniach bezpieczeństwa prawdopodobnie wzrośnie, a takie badania będą potrzebne, żeby tę zmianę rozumieć i nią zarządzać.
Źródła
10- 01Local models on 27,489 CVEs: 4.2% omit security impact (ex-kernel)EN
- 02Google's new Gemini tiers cut free users to its weakest modelEN
- 03Gemini app limiting what models free and AI Plus users can accessEN
- 04OpenAI's latest features take direct aim at the app store modelEN
- 05Anthropic asks Claude users to share voice data for AI model trainingEN
- 06Ideogram 4.5: The most precise edit modelEN
- 07What happens when an AI model is put in a "pain" state?EN
- 08Benchmarking CV and depth-estimation algorithmsEN
- 09Language Model "Shape" – Alex L. ZhangEN
- 10No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-TuningEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.