Audyt Stanforda: twierdzenia o LLM tracą ważność po 15,7 miesiąca

Co starzeje się najszybciej: twierdzenia o tym, czego modele nie potrafią

Queen i Zou sprawdzili 50 twierdzeń na 20 modelach od ośmiu firm, wydanych między lipcem 2024 a wrześniem 2026 roku. Wyniki są dalekie od jednorodności.

To ma znaczenie dla każdego, kto powołuje się na benchmark. Dowody za takimi twierdzeniami wystarczają na około rok i kwartał. Badacze, którzy budują na opublikowanych wynikach, mierzą w ruchomy cel. Podobnie kupujący, którzy wybierają modele z opublikowanych porównań. Nie ma uzgodnionego sposobu oznaczania twierdzenia jako nieaktualnego. Czytelnik musi sam sprawdzić model i datę.

Podział wśród 50 twierdzeń był nierówny. Łącznie 44% wygasło, 34% wyraźnie osłabło, 16% nadal się trzymało, a 6% się wzmocniło. Wśród 22 wyników z oszacowaną datą ważności średni czas życia wyniósł 15,7 miesiąca. Tempo starzenia przyspiesza. Po roku wygasło 16% wyników. Po dwóch latach odsetek sięgnął 39%.

Najszybciej starzeją się twierdzenia o tym, czego modele nie potrafią.

Pięć z dziewięciu wyników dotyczących rozumowania jest nieaktualnych. Żaden się nie utrzymał ani nie wzmocnił. Lista wygląda jak przegląd znanych słabości. Liczenie liter w słowie strawberry to jedna z nich. Arytmetyka w nietypowych systemach liczbowych to druga. Gubienie informacji w środku długiego kontekstu to kolejna. Porzucanie poprawnej odpowiedzi, gdy użytkownik naciska, to jeszcze inna. Queen i Zou podejrzewają, że te błędy mają wspólny poprawny wynik, co daje deweloperom jasny cel treningowy.

Co przetrwało: preferencje, schlebianie i uprzedzenia

Z 11 wyników, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających. Modele wolą własne odpowiedzi. Oceniają też podobnie prace przyjęte i odrzucone, a w abstraktach medycznych ulegają językowemu spinowi.

Kolejne trzy dotyczą schlebiania i zgadzania się z użytkownikiem.

Uprzedzenia to mieszany obraz. Lewicowe uprzedzenia polityczne się utrzymują. Stereotypy płciowe i ukryte skojarzenia osłabły. Uprzedzenia wobec osób mówiących afroamerykańską odmianą angielskiego odwróciły kierunek w danych trendu.

Test cytowań: z 55 do zera, ale nie wszędzie

Jako studium przypadku para przyjrzała się zmyślonym cytowaniom naukowym. W oryginalnym badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich przypisów. Queen i Zou wysłali te same prompty do obecnych modeli. GPT-6.1 Sol zmyślił 0%, a Claude Sonnet 5.5 osiągnął 1%. Qwen3.7-Flash, również model z 2026 roku, wciąż zmyślał 69% przypisów w tym samym teście.

Zmyślanie cytowań to najczystszy przypadek w badaniu. Oryginalne prompty można było powtórzyć dokładnie.

Poprawa jest realna, ale częściowa. W pytaniach dwuetapowych model musi połączyć dwa znane fakty. Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba osobne pytania. Oryginalna praca podawała 43% dla ChatGPT.

Luka między modelami jest duża, a wdrożenia przyspieszają

Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba nieaktualnych wyników waha się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Rozmiar tego nie wyjaśnia. Data wydania, dostawca i wielkość modelu nie pozwalają wiarygodnie przewidzieć wzorca.

Tymczasem systemy, w których te modele siedzą, wchodzą do produkcji. Badacze z Microsoftu podali, że agenci kodujący często pokonują problemy, sięgając po narzędzia. Wciąż mają trudności, gdy muszą zrozumieć nieznane bazy kodu, wynika z Microsoft Research Focus opublikowanego 29 października. Ten sam numer opisuje ForkPilot. To środowisko obniżyło zapotrzebowanie na moc obliczeniową AI o nawet 59% w sześciu benchmarkach.

Praca nad bezpieczeństwem pokazuje tę samą kompresję. OpenAI podało 27 października, że Check Point skrócił badanie podatności z godzin do minut, używając modeli Daybreak. Twierdzenie pochodzi od dyrektora ds. technologii Check Point Jonathana Zangera.

Rachunek za sprzęt rośnie wraz z tym. Hyperion Research podało 3 listopada, że przychody z HPC działającego lokalnie i AI dla nauki sięgnęły 16,5 mld dol. w pierwszej połowie 2026 roku. To o 19,9% więcej niż 13,8 mld dol. w drugiej połowie 2025 roku. Sprzedaż jednostek wzrosła w tym samym okresie tylko o 4,4%. To wskazuje na rosnące koszty systemów. Dell wysunął się na prowadzenie z 4,2 mld dol. przychodów z serwerów w pierwszej połowie 2026 roku. Zakończył ponad 25-letni okres dominacji HPE.

Earl Joseph, prezes Hyperion Research, przypisał popyt dwóm rzeczom. Organizacje wymieniają starzejące się maszyny, powiedział. Chcą też wdrożyć AI do swoich procesów.

Razem te dwa trendy ciągną w przeciwne strony. Kupujący płacą więcej za system. Jednocześnie opublikowane dowody, których używają do porównywania modeli, starzeją się po około 15 miesiącach. Wynik benchmarku sprzed roku może opisywać model, który został już zastąpiony.

Czego chcą autorzy i co pozostaje otwarte

Queen i Zou konkludują, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, nie jako ogólne prawdy. Ich zalecenie jest wąskie. Podaj model, podaj wersję, podaj miesiąc.

Autorzy ostrzegają przed ogłaszaniem pełnego sukcesu.

Reversal Curse i sprzeczne odpowiedzi na sparowane pytania o czas osłabły. Wciąż są wykrywalne. Twierdzenie, że system zawodzi w jakimś zadaniu, dotyczy jednej kompilacji, nie całej technologii. Nie wiadomo, czy wzorzec utrzyma się dla modeli wydanych po wrześniu 2026 roku.