Stanford sprawdził 50 twierdzeń o LLM. 44 proc. już nie obowiązuje
Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych twierdzeń o dużych modelach językowych na 20 modelach. 44 proc. z nich straciło ważność, a wśród 22 wyników z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca.

Queen i Zou sprawdzili 50 twierdzeń na 20 modelach ośmiu deweloperów, wydanych między lipcem 2024 a wrześniem 2026 roku. Poza 44 proc., które straciły ważność, kolejne 34 proc. wyraźnie osłabło, 16 proc. wciąż obowiązuje, a 6 proc. się wzmocniło. Wygaszanie przyspiesza z czasem: po roku wygasło 16 proc., po dwóch latach 39 proc. Dwadzieścia dwa wyniki z oszacowaną datą wygaśnięcia żyły średnio 15,7 miesiąca, a okno testowe biegło od lipca 2024 do września 2026 roku.
Co wygasa najszybciej
Najgorzej starzeją się twierdzenia o tym, czego modele nie potrafią. Wygasło pięć z dziewięciu ustaleń dotyczących rozumowania i żadne się nie utrzymało ani nie wzmocniło. Chodzi między innymi o liczenie liter w słowie „strawberry”, arytmetykę w nieznanych systemach liczbowych, gubienie informacji w środku długiego kontekstu i porzucanie poprawnej odpowiedzi, gdy użytkownik się sprzeciwi. Badacze przypuszczają, że te błędy mają „poprawny” wynik. Deweloperzy mają więc jasny cel, ku któremu mogą trenować.
Twierdzenia o preferencjach i skłonnościach trzymają się dłużej. Z 11 ustaleń, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających: wolą własne odpowiedzi, podobnie oceniają prace przyjęte i odrzucone oraz ulegają językowej manipulacji w streszczeniach medycznych. Kolejne trzy dotyczą schlebiania użytkownikom. Utrzymuje się lewicowe nachylenie polityczne, odpowiedzi na pytania otwarte są niemal identyczne, a generowane liczby losowe nie mają rozkładu równomiernego.
Przypisy poprawiają się nierówno
Zmyślone przypisy pokazują, jak nierówny jest postęp. W badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55 proc. swoich przypisów. Na tych samych promptach GPT-6.1 Sol wymyślił 0 proc., a Claude Sonnet 5.5 1 proc. Qwen3.7-Flash, także model z 2026 roku, wciąż wymyślał 69 proc.
Słabym punktem pozostają pytania dwuetapowe, w których model musi połączyć dwa znane fakty. Claude Sonnet 5.5 wciąż myli się w około 10 proc. przypadków, w których poprawnie odpowiada na oba pytania osobno, wobec 43 proc. podanych dla ChatGPT w pierwotnej pracy. „Klątwa odwrócenia” i sprzeczne odpowiedzi na pary powiązanych pytań o czas osłabły, ale wciąż je widać.
Z uprzedzeniami społecznymi jest różnie. Lewicowe nachylenie polityczne się utrzymuje, stereotypy płciowe i uprzedzenia w testach skojarzeń osłabły, a uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego odwróciło kierunek w danych trendowych.
Wybór modelu ma znaczenie
Wyniki różnią się mocno nawet w obrębie jednego okresu wydań. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba nieaktualnych ustaleń waha się od 11 w przypadku DeepSeek V4 Pro do 30 w przypadku GPT-6.1 Sol. Ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.
Co zalecają badacze
Queen i Zou przekonują, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje dotyczące konkretnych modeli w konkretnym momencie, nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby wyniki można było ponownie sprawdzić na przyszłych modelach. Autorzy wskazują na wpis Andreja Karpathy'ego o tym, jak rozbieżność między wyobrażeniami o działaniu LLM a ich rzeczywistym zachowaniem wpływa na zaufanie do AI i na to, jak często ludzie jej używają.
Źródła
18- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
- 03Open Science: The open-source AI workbench for scientific researchEN
- 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
- 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
- 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
- 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
- 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 15Microsoft Research Focus – Edition #97EN
- 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
- 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 18Claude helped plan risky bird flu research. What did the AI add?EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.