Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Stanford-Studie: 44 Prozent von 50 viel zitierten LLM-Aussagen sind verfallen

Owen Queen und James Zou von der Stanford University haben 50 viel zitierte Aussagen über große Sprachmodelle an neueren Modellen getestet. Bei 44 Prozent war der ursprüngliche Effekt weitgehend verschwunden. Über 22 Befunde hinweg lag die durchschnittliche Lebensdauer bei 15,7 Monaten.

WissenschaftErklärtHanna VogtVeröffentlicht: 4. November 20264 Min. LesezeitQuellen 9
Stanford-Studie: 44 Prozent von 50 viel zitierten LLM-Aussagen sind verfallen

Die Studie nennt eine Aussage „verfallen“, wenn ihr ursprünglicher Effekt bei Tests mit neueren Modellen weitgehend verschwunden ist. Queen und Zou prüften 50 Aussagen an 20 Modellen von acht Anbietern, die zwischen Juli 2024 und September 2026 erschienen sind. 44 Prozent der Aussagen waren verfallen, 34 Prozent hatten deutlich nachgelassen, 16 Prozent hielten noch stand und 6 Prozent waren stärker geworden. Der Verfall nahm mit der Zeit zu: 16 Prozent nach einem Jahr, 39 Prozent nach zwei Jahren. Bei 22 Befunden mit geschätztem Verfallsdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten.

Aussagen darüber, was Modelle nicht können, verfallen am schnellsten

Fünf von neun Befunden zum Schlussfolgern sind verfallen. Keiner hielt stand oder wurde stärker. Dazu gehören das Zählen von Buchstaben in „strawberry“, Arithmetik in ungewohnten Zahlensystemen, der Verlust von Informationen in der Mitte langer Kontexte und das Aufgeben richtiger Antworten, wenn Nutzer nachhaken. Die Forscher vermuten, dass diese Fehler ein „korrektes“ Ergebnis haben. Das gebe Entwicklern ein klares Ziel für das Training.

Manche Präferenzen und Verzerrungen bleiben bestehen

11 Befunde hielten stand oder wurden stärker. Drei davon betreffen das Verhalten von LLMs als Bewerter: Modelle bevorzugen ihre eigenen Antworten, bewerten angenommene und abgelehnte Arbeiten ähnlich und lassen sich von sprachlicher Färbung in medizinischen Abstracts beeinflussen. Drei weitere betreffen Sycophancy und Zustimmung gegenüber Nutzern. Außerdem nennt die Studie nahezu identische Antworten auf offene Fragen und eine ungleichmäßige Verteilung bei der Erzeugung von Zufallszahlen.

Soziale Verzerrungen sind gemischt

Eine politische Neigung nach links besteht fort. Geschlechterstereotype und implizite Assoziationsverzerrungen haben nachgelassen. Verzerrungen gegenüber Sprecherinnen und Sprechern von African American English haben in den Trenddaten die Richtung gewechselt.

Erfundene Zitate gehen zurück, aber nicht bei jedem Modell

Als Fallstudie untersuchten Queen und Zou die Erfindung wissenschaftlicher Zitate. In der ursprünglichen Studie von Walters und Wilder aus dem Jahr 2023 erfand GPT-3.5 55 Prozent seiner Referenzen. Die Stanford-Forscher schickten dieselben Prompts an aktuelle Modelle. GPT-6.1 Sol erfand 0 Prozent, Claude Sonnet 5.5 kam auf 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell aus dem Jahr 2026, erfand im selben Test noch 69 Prozent seiner Referenzen.

Die Studie warnt davor, diese Ergebnisse als Entwarnung zu lesen. Bei Zwei-Hop-Fragen muss ein Modell zwei bekannte Fakten kombinieren. Claude Sonnet 5.5 scheitert dabei in etwa 10 Prozent der Fälle, in denen es beide Einzelfragen richtig beantwortet. Die ursprüngliche Arbeit nannte 43 Prozent für ChatGPT. Der Reversal Curse und widersprüchliche Antworten auf paarweise gestellte Zeitfragen haben ebenfalls nachgelassen, sind aber weiterhin erkennbar.

Die Abstände zwischen den Modellen bleiben groß

Die Ergebnisse unterscheiden sich je nach Modell, selbst innerhalb desselben Erscheinungsfensters. Unter den Modellen, die zwischen Juli und September 2026 erschienen sind, reicht die Zahl der verfallenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Weder Erscheinungsdatum noch Anbieter noch Modellgröße sagen das Muster zuverlässig vorher.

Was die Autoren empfehlen

Queen und Zou kommen zu dem Schluss, dass empirische Befunde über LLMs als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt dargestellt werden sollten, nicht als allgemeine Wahrheiten. Arbeiten sollten Modell, Version und Datum dokumentieren und Prompts sowie Analysecode veröffentlichen, damit sich die Befunde an künftigen Modellen erneut prüfen lassen.

Kommentare 0

Quellen

9
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  3. 03Microsoft Research Focus - Edition #97EN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  7. 07Cultivated meat: Is the safety evidence strong enough? - FoodNavigator.comEN
  8. 08 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  9. 09What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Hanna Vogt

Hanna Vogt

Wissenschaft und Gesundheit

Hanna Vogt schreibt für FLASH24 über Wissenschaft und Gesundheit und stützt sich dabei auf Primärstudien, Behördenberichte und Rohdaten statt auf Pressemitteilungen. Bei Zahlen prüft sie Stichprobengrößen, Konfidenzintervalle und ob die zitierte Quelle die Aussage tatsächlich deckt. Für ihre Texte spricht sie mit Studienautorinnen, wartet auf Peer-Review-Fassungen und vergleicht Vorabdrucke mit der finalen Publikation. Dass sie privat Materialphysik verfolgt und mit eigenem Teleskop den Himmel beobachtet, erklärt, warum sie bei Messmethoden und Instrumenten genau nachfragt. Sie publiziert keine Ergebnisse, deren Datengrundlage sie nicht selbst eingesehen hat.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.