Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

44% często cytowanych twierdzeń o LLM straciło ważność, pokazuje badanie Stanforda

Owen Queen i James Zou ze Stanforda sprawdzili 50 często cytowanych twierdzeń o dużych modelach językowych na 20 modelach wydanych od lipca 2024 do września 2026 roku. 44% straciło ważność, a twierdzenia z oszacowaną datą miały średnio 15,7 miesiąca życia.

TechnologiaAnalizaAnna KaczmarekOpublikowano: 4 listopada 20264 min czytaniaŹródła 12
44% często cytowanych twierdzeń o LLM straciło ważność, pokazuje badanie Stanforda

Autorzy powtórzyli test 50 twierdzeń na 20 modelach od ośmiu deweloperów. Pierwotny efekt, na którym opierały się nieaktualne wnioski, w dużej mierze zniknął, a kolejne 34% osłabło wyraźnie. Tylko 16% nadal się utrzymywało, a 6% się wzmocniło.

Spośród 22 wniosków z oszacowaną datą ważności średni czas życia wyniósł 15,7 miesiąca. Po roku wygasło 16% wniosków. Po dwóch latach 39%.

Twierdzenia o ograniczeniach tracą ważność najszybciej

Pięć z dziewięciu wniosków dotyczących rozumowania uznano za nieaktualne, a żaden się nie utrzymał ani nie wzmocnił. Przykłady obejmują modele, które mylą się w liczeniu liter w słowie „strawberry”, gubią się w arytmetyce w nietypowych systemach liczbowych, tracą informacje w środku długiego kontekstu albo porzucają poprawną odpowiedź, gdy użytkownik się nie zgadza. Badacze podejrzewają, że w tych przypadkach poprawny wynik jest ten sam, więc deweloperzy mają jasny cel, w kierunku którego mogą trenować.

Twierdzenia o preferencjach i skłonnościach utrzymują się dłużej. Z 11 wniosków, które się utrzymały lub wzmocniły, trzy dotyczą modeli w roli oceniających, a trzy schlebiania i zgadzania się z użytkownikiem. Badanie odnotowuje też lewicowe nachylenie polityczne, niemal identyczne odpowiedzi na pytania otwarte i nierównomierny rozkład przy generowaniu liczb losowych. Stereotypy płciowe i niejawne skojarzenia osłabły, a uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego zmieniło kierunek w danych trendowych.

Test cytowań: z 55% do zera, z jednym wyjątkiem

Studium przypadku w pracy to zmyślone cytowania naukowe. W oryginalnym badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55% swoich przypisów. Po wysłaniu tych samych promptów GPT-6.1 Sol wymyślił 0%, a Claude Sonnet 5.5 1%. Qwen3.7-Flash, również model z 2026 roku, wciąż zmyślał 69%.

Autorzy ostrzegają, żeby nie odczytywać tych wyników jako sygnału, że wszystko jest w porządku. W pytaniach wymagających dwóch kroków Claude Sonnet 5.5 wciąż myli się w około 10% przypadków, w których poprawnie odpowiada na oba pytania osobno; w oryginalnej pracy dla ChatGPT podano 43%. Klątwa odwrócenia i sprzeczne odpowiedzi na powiązane pytania o czas osłabły, ale oba zjawiska wciąż da się wykryć.

Luki między modelami pozostają duże

Wyniki różnią się między modelami nawet wtedy, gdy wydano je w tym samym okresie. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba nieaktualnych wniosków waha się od 11 w przypadku DeepSeek V4 Pro do 30 w przypadku GPT-6.1 Sol. Ani data premiery, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca, podaje badanie.

Co autorzy chcą zmienić

Queen i Zou przekonują, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako ogólne prawdy. Prace powinny dokumentować model, wersję i datę oraz publikować prompty i kod analizy, żeby można było powtórzyć testy na przyszłych modelach, przekonują autorzy.

Komentarze 0

Źródła

12
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Microsoft Research Focus – Edition #97EN
  3. 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
  7. 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
  8. 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  9. 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  10. 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  11. 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  12. 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.