Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Stanford-Studie: 44 Prozent der viel zitierten LLM-Aussagen sind abgelaufen

Owen Queen und James Zou von der Stanford University haben 50 viel zitierte Aussagen über große Sprachmodelle an 20 Modellen geprüft, die zwischen Juli 2024 und September 2026 erschienen sind. 44 Prozent davon waren abgelaufen, die datierten Befunde hielten im Schnitt 15,7 Monate.

TechnologieAnalyseLena BrandtVeröffentlicht: 4. November 20264 Min. LesezeitQuellen 12
Stanford-Studie: 44 Prozent der viel zitierten LLM-Aussagen sind abgelaufen

Das Team ließ die 50 Aussagen erneut gegen 20 Modelle von acht Anbietern laufen. Der ursprüngliche Effekt hinter den abgelaufenen Befunden ist weitgehend verschwunden, weitere 34 Prozent hatten sich deutlich abgeschwächt. Nur 16 Prozent hielten noch, 6 Prozent waren stärker geworden.

Von den 22 Befunden mit geschätztem Ablaufdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten. Nach einem Jahr waren 16 Prozent der Befunde abgelaufen. Nach zwei Jahren waren es 39 Prozent.

Aussagen über Grenzen verfallen am schnellsten

Fünf von neun Befunden zum Schlussfolgern gelten als abgelaufen, keiner hielt stand oder wurde stärker. Zu den Beispielen gehören Modelle, die Buchstaben in „strawberry“ falsch zählen, an Arithmetik in ungewohnten Zahlensystemen scheitern, Informationen in der Mitte langer Kontexte verlieren oder eine richtige Antwort aufgeben, wenn ein Nutzer nachhakt. Die Forscher vermuten, dass diese Fehler ein gemeinsames richtiges Ergebnis haben. Darauf könnten sich Entwickler beim Training gezielt richten.

Aussagen über Vorlieben und Tendenzen halten länger. Von den 11 Befunden, die hielten oder stärker wurden, betreffen drei Modelle als Bewerter und drei Schmeichelei und Zustimmung gegenüber Nutzern. Die Studie berichtet außerdem von einer linksgerichteten politischen Verzerrung, nahezu identischen Antworten auf offene Fragen und einer ungleichmäßigen Verteilung beim Erzeugen von Zufallszahlen. Geschlechterstereotype und implizite Assoziationsverzerrungen haben sich abgeschwächt, während die Verzerrung gegenüber Sprecherinnen und Sprechern von African American English in den Trenddaten die Richtung gewechselt hat.

Zitationstest: 55 Prozent auf null, mit einer Ausnahme

Die Fallstudie des Papiers sind erfundene wissenschaftliche Zitate. In der ursprünglichen Studie von Walters und Wilder aus dem Jahr 2023 erfand GPT-3.5 55 Prozent seiner Referenzen. Mit denselben Prompts erfand GPT-6.1 Sol 0 Prozent und Claude Sonnet 5.5 erfand 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell aus 2026, erfand weiterhin 69 Prozent.

Die Studie warnt davor, diese Ergebnisse als Entwarnung zu lesen. Bei Zwei-Hop-Fragen scheitert Claude Sonnet 5.5 noch in etwa 10 Prozent der Fälle, in denen es beide Einzelfragen richtig beantwortet, gegenüber 43 Prozent, die für ChatGPT im ursprünglichen Papier berichtet wurden. Der Reversal Curse und widersprüchliche Antworten auf gepaarte zeitbezogene Fragen haben sich abgeschwächt, beide sind aber weiterhin erkennbar.

Abstände zwischen den Modellen bleiben groß

Die Ergebnisse unterscheiden sich selbst innerhalb desselben Erscheinungsfensters von Modell zu Modell. Bei Modellen, die zwischen Juli und September 2026 erschienen sind, reicht die Zahl der abgelaufenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Weder Erscheinungsdatum noch Anbieter oder Modellgröße sagen das Muster zuverlässig voraus, so die Studie.

Was die Autoren geändert sehen wollen

Queen und Zou argumentieren, empirische Befunde über LLMs sollten als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt dargestellt werden, nicht als allgemeine Wahrheiten. Papiere sollten Modell, Version und Datum dokumentieren und Prompts sowie Analysecode veröffentlichen, damit sich Befunde an künftigen Modellen erneut prüfen lassen, schreiben sie.

Kommentare 0

Quellen

12
  1. 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
  2. 02Microsoft Research Focus – Edition #97EN
  3. 03Researcher-in-the-Loop Evolutionary Discovery of Entanglement-Assisted Quantum Code FamiliesEN
  4. 04How Check Point accelerates vulnerability research with DaybreakEN
  5. 05Hanwha Q-Cells shifts focus to research and development in EuropeEN
  6. 06I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
  7. 07New ISO interoperability standard covers collaboration among mobile robots from multiple vendorsEN
  8. 08Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
  9. 09Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
  10. 10Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
  11. 11 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
  12. 12What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.