Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Testowanie rozumowania AI robi się trudniejsze, a liczby dziwniejsze

Badacz przepuścił 27 489 nowo opublikowanych CVE przez lokalny model decyzyjny. Odkrył, że 16,9% z nich nigdy nie podaje wpływu na bezpieczeństwo. Wynik mówi tyle samo o tym, jak systemy AI oceniają tekst, co o samych zgłoszeniach błędów.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 4 października 20267 min czytaniaŹródła 8
Testowanie rozumowania AI robi się trudniejsze, a liczby dziwniejsze

Eksperyment jest mały i osobisty. Jerry Gamblin zasiada w grupach roboczych programu CVE: Quality, Automation and Consumer. Na laptopie uruchomił modele Clef od Cloudflare na wszystkich CVE opublikowanych między 4 sierpnia a 3 października 2026 r. Wyniki opublikował 4 października.

Najważniejsze ustalenie: poza jądrem Linuksa 989 z 23 736 opisów, czyli 4,2%, nigdy nie mówi, co atakujący mógłby zrobić. Jeśli doliczyć jądro, którego polityka zostawia ocenę wpływu użytkownikowi, liczba rośnie do 4 650 z 27 489, czyli 16,9%.

Dlaczego to ważne: tak wygląda zautomatyzowana ocena, kiedy wychodzi z laboratorium. Model 9B (9 mld parametrów) odpowiadał na dwa pytania o każdy rekord w mniej niż sekundę. Nie potrzebował klucza API ani rachunku, jak pisze Gamblin. Każdy może teraz ocenić korpus u siebie. Nadal nie wiadomo, czy te wyniki utrzymają się poza układem jednego badacza. Nikt nie sprawdził tego procesu na drugiej maszynie ani na drugim korpusie.

Gamblin podchodzi do tego ostrożnie. Sprawdził dwuetapowy proces na 129 CVE, które oznaczył ręcznie. Wyłapał 15 z 16, które uznał za niepodające wpływu. Żadnej ze swoich pozytywnych etykiet nie oznaczył jako negatywnej. Clef 27B (27 mld parametrów) przeczytał ponownie wszystko, co Clef Flash oznaczył jako pozbawione wpływu, i odrzucił 1 198 z 2 187, czyli 54,8%. Sam Flash, pisze, jest zbyt surowy.

Dlaczego wszyscy budują testy porównawcze

W tym samym tygodniu OpenAI opisało skoordynowany wysiłek wydobycia chronionego rozumowania ze swoich modeli. Aktywność zaczęła się 1 lipca, podaje firma. Nasiliła się 24 i 25 lipca, gdy ponad 4 000 użytkowników wysłało 16 000 żądań z wzorcem ekstrakcji. OpenAI twierdzi, że do 28 lipca rozbiło powiązany klaster ponad 15 000 użytkowników. Główny klaster przypisuje osobom związanym z Moonshot AI, twórcą Kimi.

To incydent bezpieczeństwa, nie test porównawczy. Pokazuje jednak tę samą presję. Gdy zdolności modelu da się zmierzyć, stają się celem. Sam pomiar staje się powierzchnią ataku.

OpenAI podaje, że operatorzy nie złamali szyfrowania ani nie dotarli do zapisanych rozmów. Manipulowali interakcjami z modelem tak, by ukryte rozumowanie dało się odtworzyć w widocznej formie.

Testy porównawcze stały się publiczną twarzą tych zdolności. Liczba nowych prac ewaluacyjnych z ostatnich dni jest uderzająca. Google otworzyło 3 listopada test inżynierski z 85 zadaniami i konkurs agentów, według listy nagłówków krążącej tego dnia. OpenAI przedstawiło tego samego dnia test LifeVal do codziennych zadań. Artificial Analysis przebudowało swój indeks do wersji v5 29 października. Podało, że agentowa AI zwiększyła przewagę modeli zamkniętych do 12 punktów.

Każde z nich jest twierdzeniem o tym, jak dobrze maszyny rozumują. Żadne nie rozstrzyga pytania. Test to próbka. Próbkę wybiera firma, którą się mierzy, albo jej rywal.

Liczby, które się cytuje

Weźmy wyniki rozumowania, które zdominowały relacje. Startup Fortune podał 4 października, że GPT-6 Astra od OpenAI osiągnął 62,7% w tym, co nazwał najtrudniejszym testem rozumowania AI. Podał też, że jego wynik ARC-AGI-3 ponad dwukrotnie przebił poprzedni najlepszy. NewsBytes podał 3 października, że Gemini 3.1 Pro od Google zdobył 77,1% w ARC-AGI-2. To różne testy z różnymi pułapami, a nagłówki rzadko to mówią.

Do tego dochodzi cena i kodowanie. Startup Fortune podał 3 października, że Claude Opus 5.5 bije Astrę od OpenAI w testach kodowania i w cenie. SitePoint opublikował tego samego dnia wyjaśnienie, co oznacza wynik FrontierCode Claude Opus 5 przy średnim wysiłku.

Postaw te dwa obok siebie, a pojawia się znany problem. Model ustawiony na mniejsze zużycie mocy obliczeniowej wypada inaczej niż ten sam model przy pełnym wysiłku. Wpis na liście rankingowej rzadko podaje ustawienie.

Przebudowa indeksu do v5 w Artificial Analysis to przyznanie tego samego. Gdy indeks się zmienia, historyczne wyniki przestają być porównywalne. Firma podała, że w nowej wersji luka między modelami zamkniętymi a otwartymi w zadaniach agentowych wzrosła do 12 punktów. To realne ustalenie o nowej wersji. Nie musi być ustaleniem o modelach.

„Nasze wyniki pokazują, że informatyczne podejścia do łagodzenia zapadania się są wydajne, i wskazują nowe drogi utrzymania różnorodności w systemach wieloagentowych.”

Ten cytat pochodzi z pracy zgłoszonej do arXiv 1 października przez Lewisa Mitchella, jedynego autora z Uniwersytetu w Bristolu, według wpisu. Praca dotyczy zapadania się modeli, nie rankingów, ale należy do tej samej rozmowy. Mitchell przeprowadził sześciopokoleniowy eksperyment dostrajania QLoRA na Llama-3.1-8B (8 mld parametrów). Odkrył, że filtrowanie tekstu treningowego szacunkiem tempa entropii, liczonym z surowego tekstu bez żadnego modelu, dało 42% więcej unikalnych trigramów, 30% więcej słownictwa i 19% mniej powtórzeń niż przebieg bez filtra. Punkt odniesienia oparty na logprob, metoda uznana, nie pokazał istotnej korzyści w żadnym wskaźniku.

Lekcja dla obserwatorów testów jest niewygodna. Wskaźnik może wyglądać rygorystycznie i mierzyć niewłaściwą rzecz. Filtr Mitchella nie potrzebował modelu do oceny. Właśnie dlatego dało się go testować tanio i wielokrotnie. Większość testów rozumowania nie może powiedzieć tego samego.

Lokalne modele jako oceniający

Układ Gamblina to najczystszy przykład tej zmiany. Ollama 0.35.1 dodała punkt końcowy decyzyjny, który przyjmuje stan i zestaw pytań z typami. Zwraca wybory, prawdopodobieństwa i wyniki, bez tekstu do parsowania. Clef to model 27B (27 mld parametrów) dostrojony z Qwen 3.8. Clef Flash to model 9B (9 mld parametrów) dostrojony z Qwen 3.5. Oba na licencji Apache 2.0, z wagami na Hugging Face, oba działają lokalnie z biblioteki Ollama.

Pobranie Flash to około 10 GB.

To zmienia to, kto może oceniać co. Zespół bezpieczeństwa może ocenić tysiące rekordów przez noc na laptopie. Samotny badacz może odtworzyć przebieg. Haczyk to kalibracja. Gamblin potrzebował większego modelu, by podważyć mniejszy, a i tak weryfikował na ręcznie oznaczonym zbiorze 129 rekordów. W tej skali kilka błędnych etykiet przesuwa procent.

Mówi otwarcie o ograniczeniach. Liczba 4,2% nie obejmuje jądra. Liczba 16,9% je obejmuje, a polityka samego jądra jest powodem, dla którego jego rekordy nic nie mówią o wpływie. Żadna z tych liczb nie jest wyrokiem o programie CVE. Obie mierzą, jak konsekwentnie autorzy wypełniają jedno pole.

Czego wyniki nie obejmują

Konsumenckie produkty AI dokonują tej samej wymiany. Google ograniczy dostęp do modeli Gemini na kontach osobistych od 9 października, według zaktualizowanego dokumentu pomocy, o którym 3 października doniósł 9to5Google. Użytkownicy darmowi dostaną tylko Flash-Lite. Subskrybenci AI Plus za 4,99 dol. miesięcznie tracą Pro i zachowują Flash-Lite oraz Flash. AI Pro za 19,99 dol. i AI Ultra za 99,99 dol. lub 199,99 dol. zachowują wszystkie trzy. THE DECODER podał ten sam podział 4 października. Zauważył, że klienci AI Pro zyskują też opcję Deep Think.

Zestaw to z nagłówkami o testach, a pojawia się pewien wzór. Modele, które się ocenia, coraz częściej są za paywallem. Użytkownik porównujący Gemini, ChatGPT i Claude na publicznej liście może nigdy nie dotknąć konfiguracji, która dała wynik.

Zapowiedzi OpenAI z Dev Day, o których TechCrunch doniósł 29 września, idą w tym samym kierunku. ChatGPT, który według firmy ma 1,2 mld użytkowników tygodniowo, będzie sugerować aplikacje w rozmowie. 16 partnerów startowych przystąpiło do Sign in with ChatGPT.

Nic z tego nie czyni testów bezużytecznymi. Czyni je częściowymi. Najczęściej cytowane liczby tygodnia, 62,7% w jednym teście rozumowania i 77,1% w innym, opisują konkretne przebiegi w konkretnych ustawieniach. Liczba 16,9% CVE opisuje laptop jednego badacza, jeden weekend i jedną parę otwartych modeli. Wszystkie trzy są uczciwe, jeśli czyta się metodę. Wszystkie trzy mylą, jeśli czyta się tylko liczbę.

Brakuje wspólnego standardu raportowania ustawienia obok wyniku. Ani Google, ani OpenAI nie zapowiedziały, że będą publikować poziomy wysiłku i dostęp do planów obok wyników testów. Dopóki ktoś tego nie zrobi, porównania będą dalej dryfować.

Komentarze 0

Źródła

8
  1. 01Decision Models vs. CVE DataEN
  2. 02Gemini app limiting what models free and AI Plus users can accessEN
  3. 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
  4. 04Disrupting a coordinated model-distillation campaignEN
  5. 05No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
  6. 06OpenAI's latest features take direct aim at the app store modelEN
  7. 07Anthropic asks Claude users to share voice data for AI model trainingEN
  8. 08Ideogram 4.5: The most precise edit modelEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.