Badanie Stanforda: 44% często cytowanych twierdzeń o LLM już nie obowiązuje

Wynik dotyczy każdego, kto cytuje test porównawczy. Z 50 twierdzeń, które sprawdzili Queen i Zou, 44% już nie obowiązywało.

To problem nie tylko autorów, ale i kupujących. Kto wybiera model, pisze wewnętrzną politykę AI albo powtarza wynik benchmarku na slajdzie, ten najprawdopodobniej opiera się na dowodach sprzed roku lub starszych. Liczba prawdziwa w 2024 roku niewiele mówi o modelu, który zespół kupuje w 2026. Badanie podważa też porównania między modelami: wśród modeli wydanych między lipcem a wrześniem 2026 liczba wygasłych wniosków wahała się od 11 do 30. Nikt nie opublikował metody, która z góry przewidzi, które twierdzenia się utrzymają, a które się zestarzeją. Ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalały przewidzieć tego wzorca, stwierdzili autorzy.

Reszta rozkładu wygląda równie niepochlebnie. Kolejne 34% twierdzeń wyraźnie osłabło, 16% nadal się trzymało, a 6% się wzmocniło.

Pięćdziesiąt twierdzeń, dwadzieścia modeli, ośmiu deweloperów

Queen i Zou ponownie sprawdzili 50 twierdzeń na 20 modelach wydanych między lipcem 2024 a wrześniem 2026 przez ośmiu różnych deweloperów. Wśród 22 wniosków z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca. Wygasanie przyspiesza. Po roku nie obowiązywało 16% wniosków, po dwóch latach 39%.

Piętnaście miesięcy to mniej więcej jedna generacja modeli.

Najszybciej psują się twierdzenia o ograniczeniach

Wzorzec nie jest przypadkowy. Pięć z dziewięciu wniosków dotyczących rozumowania uznano za wygasłe i żaden się nie utrzymał ani nie wzmocnił. Wśród ofiar są znane skargi: modele mylą się w liczeniu liter w słowie strawberry, potykają się na arytmetyce w nieznanych systemach liczbowych, gubią informacje w środku długiego kontekstu, porzucają poprawną odpowiedź, gdy użytkownik się sprzeciwi. Badacze przypuszczają, że te błędy mają wspólną poprawną odpowiedź, co daje deweloperom konkretny cel w trenowaniu.

Twierdzenia o zachowaniu trzymają się dłużej. Z 11 wniosków, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających, a trzy dotyczą schlebiania i zgadzania się z użytkownikiem. Uprzedzenia społeczne działają w obie strony: lewicowe nachylenie polityczne utrzymuje się, a stereotypy płciowe i skojarzenia niejawne osłabły. Uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego zmieniło kierunek w danych trendu.

Test cytowań z jednym dużym wyjątkiem

Studium przypadku w pracy to zmyślone przypisy. W oryginalnej pracy Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich cytowań. Na te same polecenia GPT-6.1 Sol nie wymyślił żadnego (0%), a Claude Sonnet 5.5 wymyślił 1%. Qwen3.7-Flash, także model z 2026 roku, wciąż wymyślał 69%.

Dwa modele z 2026 roku stoją na przeciwnych końcach tego testu.

Autorzy ostrzegają przed odczytywaniem tego jako całkowitego sukcesu. W pytaniach dwuetapowych Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba pytania składowe, wobec 43% podanych dla ChatGPT w oryginalnej pracy. Klątwa odwrócenia i sprzeczne odpowiedzi na powiązane pytania o czas osłabły, ale oba zjawiska wciąż można wykryć.

Rozrzut między modelami pozostaje duży nawet w jednym oknie wydawniczym. Wśród modeli wypuszczonych między lipcem a wrześniem 2026 liczba wygasłych wniosków wyniosła od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol.

Inne laboratoria odpowiadają trudniejszymi testami

W przeglądzie badań Microsoftu z końca października opisano dwa takie wysiłki. CABRA generuje zadania programistyczne od zera, żeby złożoność można było podnosić w kontrolowany sposób. W tysiącach wygenerowanych zadań agenci często rozwiązywali problemy, sięgając po narzędzia, ale wciąż mieli trudności ze zrozumieniem nieznanych baz kodu. ForkPilot, samodoskonalący się framework, dorównał najlepszym istniejącym metodom w sześciu testach porównawczych, zmniejszając zapotrzebowanie na moc obliczeniową o maksymalnie 59%.

Gdzie indziej odpowiedzią jest weryfikacja formalna. Praca na arXiv o kodach korekcyjnych błędów kwantowych wspomaganych splątaniem opisała proces z badaczem w pętli i sprawdzaniem dowodów w Lean. Zespół zamknął 54 luki w zarchiwizowanych tabelach i opublikował 115 zweryfikowanych rekordów kodu.

Jej własne liczby mówią same za siebie. Programy iteracyjne wybrane w walidacji osiągnęły 46,1% i 31,6% skuteczności na odłożonych wykonaniach przy niewidzianych długościach n=13 i n=15, wobec 19,5% i 3,1% dla programów generowanych niezależnie. Przy dłuższej długości różnica się powiększa.

Laboratoria komercyjne sprzedają za to szybkość. Dyrektor ds. technologii Check Point Jonathan Zanger powiedział, że Daybreak skrócił badanie podatności z godzin do minut. Narzędzie daje obrońcom dostęp do czołowych modeli cyber OpenAI, które analizują podatności i śledzą ścieżki ataku.

Co autorzy chcą zmienić

Queen i Zou chcą zmienić sposób formułowania. Twierdzą, że ustalenia empiryczne o LLM powinny być przedstawiane jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny dokumentować, co testowano, dodają.

Praktyczna wskazówka jest prostsza. Sprawdź ponownie, zanim zacytujesz, i podaj datę testu.