Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Badanie Stanforda: 44% z 50 często cytowanych tez o LLM wygasło

Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych tez o dużych modelach językowych. 44% z nich wygasło, czyli ich pierwotny efekt w dużej mierze zniknął. Średni czas życia 22 ustaleń z oszacowaną datą wygaśnięcia to 15,7 miesiąca.

NaukaWyjaśnienieRenata PawlakOpublikowano: 4 listopada 20264 min czytaniaŹródła 9
Badanie Stanforda: 44% z 50 często cytowanych tez o LLM wygasło

Badanie nazywa „wygasłą” tezę, której pierwotny efekt w dużej mierze zniknął, gdy sprawdzono ją na nowszych modelach. Queen i Zou przetestowali 50 tez na 20 modelach od ośmiu twórców modeli, wydanych między lipcem 2024 a wrześniem 2026 roku. 44% tez wygasło, 34% wyraźnie osłabło, 16% nadal się trzymało, a 6% się wzmocniło. Odsetek wygasłych rósł z czasem: 16% po roku i 39% po dwóch latach, jak ustalili badacze. Wśród 22 ustaleń z oszacowaną datą wygaśnięcia średni czas życia wyniósł 15,7 miesiąca.

Najszybciej wygasają tezy o tym, czego modele nie potrafią

Wygasło pięć z dziewięciu ustaleń dotyczących rozumowania i żadne się nie utrzymało ani nie wzmocniło. Chodzi między innymi o liczenie liter w słowie „strawberry”, arytmetykę w nieznanych systemach liczbowych, gubienie informacji w środku długiego kontekstu i rezygnowanie z poprawnej odpowiedzi, gdy użytkownik się sprzeciwi. Autorzy przypuszczają, że te błędy mają „poprawny” wynik, więc twórcy modeli dostają jasny cel do trenowania.

Część preferencji i uprzedzeń się utrzymuje

11 ustaleń utrzymało się lub wzmocniło. Trzy przykłady dotyczą zachowania LLM jako oceniającego: modele wolą własne odpowiedzi, oceniają przyjęte i odrzucone prace podobnie oraz ulegają manipulacji językowej w abstraktach medycznych. Kolejne trzy dotyczą schlebiania użytkownikom i zgadzania się z nimi. Badanie wymienia też niemal identyczne odpowiedzi na pytania otwarte i nierównomierny rozkład przy generowaniu liczb losowych.

Obraz uprzedzeń społecznych jest mieszany

Utrzymuje się lewicowe uprzedzenie polityczne. Stereotypy płciowe i uprzedzenia w testach skojarzeń niejawnych osłabły. Uprzedzenia wobec osób mówiących afroamerykańską odmianą angielskiego zmieniły kierunek w danych trendu.

Zmyślone cytowania spadają, ale nie w każdym modelu

Jako studium przypadku Queen i Zou sprawdzili zmyślanie cytowań naukowych. W oryginalnym badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich przypisów. Badacze ze Stanforda wysłali te same prompty do obecnych modeli. GPT-6.1 Sol wymyślił 0%, a Claude Sonnet 5.5 osiągnął 1%. Qwen3.7-Flash, również model z 2026 roku, w tym samym teście wciąż zmyślał 69% przypisów.

Autorzy ostrzegają przed odczytaniem tych wyników jako sygnału, że wszystko jest w porządku. W pytaniach dwuetapowych, gdzie model musi połączyć dwa znane fakty, Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba pytania osobno. W oryginalnej pracy ChatGPT wypadł na 43%. Reversal Curse i sprzeczne odpowiedzi na sparowane pytania o czas również osłabły, ale wciąż są wykrywalne.

Różnice między modelami pozostają duże

Wyniki różnią się między modelami nawet w tym samym oknie wydania. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba wygasłych ustaleń waha się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Jak ustalili Queen i Zou, ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.

Co zalecają autorzy

Queen i Zou dochodzą do wniosku, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby można było powtórzyć testy na przyszłych modelach.

Komentarze 0

Źródła

9
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  3. 03Microsoft Research Focus - Edition #97EN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  7. 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
  8. 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  9. 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Renata Pawlak

Renata Pawlak

Nauka i zdrowie

Renata Pawlak zajmuje się w FLASH24 nauką i zdrowiem, opierając teksty na publikacjach recenzowanych, komunikatach instytucji i danych źródłowych, a nie na doniesieniach bez pokrycia. Przy każdej liczbie sprawdza metodologię badania, wielkość próby i jednostki, a wyniki porównuje z wcześniejszymi pracami na ten sam temat. Czeka na comiesięczne raporty GUS i NFZ, rozmawia z lekarzami oraz fizykami, a przed publikacją pyta autorów o ograniczenia ich wniosków. Prywatnie interesuje się fizyką materiałów i obserwuje niebo przez własny teleskop, co pomaga jej czytać prace z dziedzin ścisłych. Nie publikuje niczego, czego nie może potwierdzić w co najmniej dwóch niezależnych źródłach.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.