44% często cytowanych twierdzeń o LLM straciło ważność, pokazuje badanie Stanforda
Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych twierdzeń o dużych modelach językowych na 20 modelach wydanych od lipca 2024 do września 2026 roku. 44% straciło ważność, a twierdzenia z oszacowaną datą miały średnio 15,7 miesiąca życia.

Autorzy powtórzyli test 50 twierdzeń na 20 modelach od ośmiu deweloperów. Pierwotny efekt, na którym opierały się nieaktualne wnioski, w dużej mierze zniknął, a kolejne 34% osłabło wyraźnie. Tylko 16% nadal się utrzymywało, a 6% się wzmocniło.
Spośród 22 wniosków z oszacowaną datą ważności średni czas życia wyniósł 15,7 miesiąca. Po roku wygasło 16% wniosków. Po dwóch latach 39%.
Twierdzenia o ograniczeniach tracą ważność najszybciej
Pięć z dziewięciu wniosków dotyczących rozumowania uznano za nieaktualne, a żaden się nie utrzymał ani nie wzmocnił. Przykłady obejmują modele, które mylą się w liczeniu liter w słowie „strawberry”, gubią się w arytmetyce w nietypowych systemach liczbowych, tracą informacje w środku długiego kontekstu albo porzucają poprawną odpowiedź, gdy użytkownik się nie zgadza. Badacze podejrzewają, że w tych przypadkach poprawny wynik jest ten sam, więc deweloperzy mają jasny cel, w kierunku którego mogą trenować.
Twierdzenia o preferencjach i skłonnościach utrzymują się dłużej. Z 11 wniosków, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających, a trzy schlebiania i zgadzania się z użytkownikiem. Badanie odnotowuje też lewicowe nachylenie polityczne, niemal identyczne odpowiedzi na pytania otwarte i nierównomierny rozkład przy generowaniu liczb losowych. Stereotypy płciowe i niejawne skojarzenia osłabły, a uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego zmieniło kierunek w danych trendowych.
Test cytowań: z 55% do zera, z jednym wyjątkiem
Studium przypadku w pracy to zmyślone cytowania naukowe. W oryginalnym badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich przypisów. Po wysłaniu tych samych promptów GPT-6.1 Sol wymyślił 0%, a Claude Sonnet 5.5 1%. Qwen3.7-Flash, również model z 2026 roku, wciąż zmyślał 69%.
Autorzy ostrzegają, żeby nie odczytywać tych wyników jako sygnału, że wszystko jest w porządku. W pytaniach wymagających dwóch kroków Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba pytania osobno; w oryginalnej pracy dla ChatGPT podano 43%. Klątwa odwrócenia i sprzeczne odpowiedzi na powiązane pytania o czas osłabły, ale oba zjawiska wciąż da się wykryć.
Luki między modelami pozostają duże
Wyniki różnią się między modelami nawet wtedy, gdy wydano je w tym samym okresie. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba nieaktualnych wniosków waha się od 11 w przypadku DeepSeek V4 Pro do 30 w przypadku GPT-6.1 Sol. Ani data premiery, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca, podaje badanie.
Co autorzy chcą zmienić
Queen i Zou przekonują, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby można było powtórzyć testy na przyszłych modelach, przekonują autorzy.
Źródła
12- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Microsoft Research Focus – Edition #97EN
- 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
- 04How Check Point accelerates vulnerability research with DaybreakEN
- 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
- 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
- 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.