Badanie Stanforda: 44% z 50 często cytowanych tez o LLM wygasło
Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych tez o dużych modelach językowych. 44% z nich wygasło, czyli ich pierwotny efekt w dużej mierze zniknął. Średni czas życia 22 ustaleń z oszacowaną datą wygaśnięcia to 15,7 miesiąca.

Badanie nazywa „wygasłą” tezę, której pierwotny efekt w dużej mierze zniknął, gdy sprawdzono ją na nowszych modelach. Queen i Zou przetestowali 50 tez na 20 modelach od ośmiu twórców modeli, wydanych między lipcem 2024 a wrześniem 2026 roku. 44% tez wygasło, 34% wyraźnie osłabło, 16% nadal się trzymało, a 6% się wzmocniło. Odsetek wygasłych rósł z czasem: 16% po roku i 39% po dwóch latach, jak ustalili badacze. Wśród 22 ustaleń z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca.
Najszybciej wygasają tezy o tym, czego modele nie potrafią
Wygasło pięć z dziewięciu ustaleń dotyczących rozumowania i żadne się nie utrzymało ani nie wzmocniło. Chodzi między innymi o liczenie liter w słowie „strawberry”, arytmetykę w nieznanych systemach liczbowych, gubienie informacji w środku długiego kontekstu i rezygnowanie z poprawnej odpowiedzi, gdy użytkownik się sprzeciwi. Autorzy przypuszczają, że te błędy mają „poprawny” wynik, więc twórcy modeli dostają jasny cel do trenowania.
Część preferencji i uprzedzeń się utrzymuje
11 ustaleń utrzymało się lub wzmocniło. Trzy przykłady dotyczą zachowania LLM jako oceniającego: modele wolą własne odpowiedzi, oceniają przyjęte i odrzucone prace podobnie oraz ulegają manipulacji językowej w abstraktach medycznych. Kolejne trzy dotyczą schlebiania użytkownikom i zgadzania się z nimi. Badanie wymienia też niemal identyczne odpowiedzi na pytania otwarte i nierównomierny rozkład przy generowaniu liczb losowych.
Obraz uprzedzeń społecznych jest mieszany
Utrzymuje się lewicowe uprzedzenie polityczne. Stereotypy płciowe i uprzedzenia w testach skojarzeń niejawnych osłabły. Uprzedzenia wobec osób mówiących afroamerykańską odmianą angielskiego zmieniły kierunek w danych trendu.
Zmyślone cytowania spadają, ale nie w każdym modelu
Jako studium przypadku Queen i Zou sprawdzili zmyślanie cytowań naukowych. W oryginalnym badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich przypisów. Badacze ze Stanforda wysłali te same prompty do obecnych modeli. GPT-6.1 Sol wymyślił 0%, a Claude Sonnet 5.5 osiągnął 1%. Qwen3.7-Flash, również model z 2026 roku, w tym samym teście wciąż zmyślał 69% przypisów.
Autorzy ostrzegają przed odczytaniem tych wyników jako sygnału, że wszystko jest w porządku. W pytaniach dwuetapowych, gdzie model musi połączyć dwa znane fakty, Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba pytania osobno. W oryginalnej pracy ChatGPT wypadł na 43%. Reversal Curse i sprzeczne odpowiedzi na sparowane pytania o czas również osłabły, ale wciąż są wykrywalne.
Różnice między modelami pozostają duże
Wyniki różnią się między modelami nawet w tym samym oknie wydania. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba wygasłych ustaleń waha się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Jak ustalili Queen i Zou, ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.
Co zalecają autorzy
Queen i Zou dochodzą do wniosku, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby można było powtórzyć testy na przyszłych modelach.
Źródła
9- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 03Microsoft Research Focus - Edition #97EN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
- 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.