Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Stanford sprawdził 50 twierdzeń o LLM. 44 proc. już nie obowiązuje

Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych twierdzeń o dużych modelach językowych na 20 modelach. 44 proc. z nich straciło ważność, a wśród 22 wyników z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 4 listopada 20264 min czytaniaŹródła 18
Stanford sprawdził 50 twierdzeń o LLM. 44 proc. już nie obowiązuje

Queen i Zou sprawdzili 50 twierdzeń na 20 modelach ośmiu deweloperów, wydanych między lipcem 2024 a wrześniem 2026 roku. Poza 44 proc., które straciły ważność, kolejne 34 proc. wyraźnie osłabło, 16 proc. wciąż obowiązuje, a 6 proc. się wzmocniło. Wygaszanie przyspiesza z czasem: po roku wygasło 16 proc., po dwóch latach 39 proc. Dwadzieścia dwa wyniki z oszacowaną datą wygaśnięcia żyły średnio 15,7 miesiąca, a okno testowe biegło od lipca 2024 do września 2026 roku.

Co wygasa najszybciej

Najgorzej starzeją się twierdzenia o tym, czego modele nie potrafią. Wygasło pięć z dziewięciu ustaleń dotyczących rozumowania i żadne się nie utrzymało ani nie wzmocniło. Chodzi między innymi o liczenie liter w słowie „strawberry”, arytmetykę w nieznanych systemach liczbowych, gubienie informacji w środku długiego kontekstu i porzucanie poprawnej odpowiedzi, gdy użytkownik się sprzeciwi. Badacze przypuszczają, że te błędy mają „poprawny” wynik. Deweloperzy mają więc jasny cel, ku któremu mogą trenować.

Twierdzenia o preferencjach i skłonnościach trzymają się dłużej. Z 11 ustaleń, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających: wolą własne odpowiedzi, podobnie oceniają prace przyjęte i odrzucone oraz ulegają językowej manipulacji w streszczeniach medycznych. Kolejne trzy dotyczą schlebiania użytkownikom. Utrzymuje się lewicowe nachylenie polityczne, odpowiedzi na pytania otwarte są niemal identyczne, a generowane liczby losowe nie mają rozkładu równomiernego.

Przypisy poprawiają się nierówno

Zmyślone przypisy pokazują, jak nierówny jest postęp. W badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55 proc. swoich przypisów. Na tych samych promptach GPT-6.1 Sol wymyślił 0 proc., a Claude Sonnet 5.5 1 proc. Qwen3.7-Flash, także model z 2026 roku, wciąż wymyślał 69 proc.

Słabym punktem pozostają pytania dwuetapowe, w których model musi połączyć dwa znane fakty. Claude Sonnet 5.5 wciąż myli się w około 10 proc. przypadków, w których poprawnie odpowiada na oba pytania osobno, wobec 43 proc. podanych dla ChatGPT w pierwotnej pracy. „Klątwa odwrócenia” i sprzeczne odpowiedzi na pary powiązanych pytań o czas osłabły, ale wciąż je widać.

Z uprzedzeniami społecznymi jest różnie. Lewicowe nachylenie polityczne się utrzymuje, stereotypy płciowe i uprzedzenia w testach skojarzeń osłabły, a uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego odwróciło kierunek w danych trendowych.

Wybór modelu ma znaczenie

Wyniki różnią się mocno nawet w obrębie jednego okresu wydań. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba nieaktualnych ustaleń waha się od 11 w przypadku DeepSeek V4 Pro do 30 w przypadku GPT-6.1 Sol. Ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.

Co zalecają badacze

Queen i Zou przekonują, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje dotyczące konkretnych modeli w konkretnym momencie, nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby wyniki można było ponownie sprawdzić na przyszłych modelach. Autorzy wskazują na wpis Andreja Karpathy'ego o tym, jak rozbieżność między wyobrażeniami o działaniu LLM a ich rzeczywistym zachowaniem wpływa na zaufanie do AI i na to, jak często ludzie jej używają.

Komentarze 0

Źródła

18
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
  3. 03Open Science: The open-source AI workbench for scientific researchEN
  4. 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
  5. 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
  6. 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
  7. 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
  8. 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
  9. 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  10. 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  11. 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  12. 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
  13. 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
  14. 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  15. 15Microsoft Research Focus – Edition #97EN
  16. 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
  17. 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
  18. 18Claude helped plan risky bird flu research. What did the AI add?EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.