Stanford-Test: 44 Prozent der viel zitierten LLM-Aussagen sind abgelaufen
Owen Queen und James Zou von der Stanford University haben 50 viel zitierte Aussagen über große Sprachmodelle an 20 Modellen geprüft. 44 Prozent davon waren abgelaufen, bei den 22 Befunden mit geschätztem Ablaufdatum lag die mittlere Lebensdauer bei 15,7 Monaten.

Das Team prüfte die 50 Aussagen an 20 Modellen von acht Anbietern, die zwischen Juli 2024 und September 2026 erschienen sind. Neben den 44 Prozent abgelaufenen Aussagen haben sich weitere 34 Prozent deutlich abgeschwächt, 16 Prozent gelten noch und 6 Prozent sind stärker geworden. Je länger der Zeitraum, desto mehr Aussagen verfallen: Nach einem Jahr waren 16 Prozent abgelaufen, nach zwei Jahren 39 Prozent. Die 22 Befunde mit geschätztem Ablaufdatum kamen im Schnitt auf 15,7 Monate, bei einem Testfenster von Juli 2024 bis September 2026.
Was am schnellsten verfällt
Aussagen darüber, was Modelle nicht können, altern am schlechtesten. Fünf von neun Befunden zum Schlussfolgern sind abgelaufen, keiner hat gehalten oder ist stärker geworden. Dazu gehören das Zählen der Buchstaben in "strawberry", Rechnen in ungewohnten Zahlensystemen, der Verlust von Informationen in der Mitte langer Kontexte und das Aufgeben einer richtigen Antwort, wenn ein Nutzer widerspricht. Die Forscher vermuten, dass diese Fehler ein "richtiges" Ergebnis haben, auf das sich Entwickler beim Training gezielt zubewegen können.
Aussagen über Vorlieben und Tendenzen halten länger. Von den 11 Befunden, die gehalten haben oder stärker geworden sind, betreffen drei Modelle als Bewerter: Sie bevorzugen eigene Antworten, bewerten angenommene und abgelehnte Fachartikel ähnlich und lassen sich von sprachlicher Färbung in medizinischen Abstracts beeinflussen. Drei weitere betreffen Schmeichelei gegenüber Nutzern. Eine politische Neigung nach links besteht weiter, Antworten auf offene Fragen sind nahezu identisch, und erzeugte Zufallszahlen sind nicht gleichmäßig verteilt.
Zitate verbessern sich ungleichmäßig
Erfundene Literaturangaben zeigen, wie ungleich der Fortschritt ist. In der ursprünglichen Studie von Walters und Wilder aus dem Jahr 2023 erfand GPT-3.5 55 Prozent seiner Referenzen. Bei denselben Prompts erfand GPT-6.1 Sol 0 Prozent und Claude Sonnet 5.5 erfand 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell aus 2026, erfand weiterhin 69 Prozent.
Zwei-Schritt-Fragen, bei denen ein Modell zwei bekannte Fakten verknüpfen muss, bleiben eine Schwachstelle. Claude Sonnet 5.5 scheitert noch in etwa 10 Prozent der Fälle, in denen es beide Einzelfragen richtig beantwortet, gegenüber 43 Prozent, die in der ursprünglichen Arbeit für ChatGPT berichtet wurden. Der "Reversal Curse" und widersprüchliche Antworten auf zusammengehörige Zeitfragen sind schwächer geworden, aber noch nachweisbar.
Bei sozialen Verzerrungen ist das Bild gemischt. Die politische Neigung nach links besteht weiter, Geschlechterstereotype und implizite Assoziationsverzerrungen haben sich abgeschwächt, und die Verzerrung gegenüber Sprecherinnen und Sprechern von African American English hat in den Trenddaten die Richtung gewechselt.
Die Modellwahl zählt
Selbst innerhalb eines Veröffentlichungsfensters streuen die Ergebnisse stark. Bei den Modellen, die zwischen Juli und September 2026 erschienen sind, reicht die Zahl der abgelaufenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Weder Erscheinungsdatum noch Anbieter oder Modellgröße sagen das Muster zuverlässig voraus.
Was die Forscher empfehlen
Queen und Zou plädieren dafür, empirische Befunde über LLMs als Beobachtungen zu bestimmten Modellen zu einem bestimmten Zeitpunkt darzustellen und nicht als allgemeine Wahrheiten. Facharbeiten sollten Modell, Version und Datum dokumentieren und Prompts sowie Auswertungscode veröffentlichen, damit sich die Ergebnisse an künftigen Modellen erneut prüfen lassen. Sie verweisen auf einen Beitrag von Andrej Karpathy darüber, wie die Lücke zwischen der Annahme, was LLMs tun, und ihrem tatsächlichen Verhalten das Vertrauen in KI und die Häufigkeit ihrer Nutzung beeinflusst.
Quellen
18- 01Rapid LLM development is outrunning the research meant to explain it, study findsEN
- 02Opentrons Raises $40 Million Series E Led by Avego to Expand AI-Driven Laboratory AutomationEN
- 03Open Science: The open-source AI workbench for scientific researchEN
- 04Life Sciences Market for Artificial Intelligence Projected to Reach $10.43Bn by 2030EN
- 05Opentrons Announces $40M Series E Round to Standardize AI-Driven Science on Its RobotsEN
- 06Hanwha Q-Cells shifts focus to research and development in EuropeEN
- 07Android-Smartphones sichern Fotos jetzt automatisch auf Windows-PCsEN
- 08CyberKord raises €2.7M to automate IT and cybersecurity operations with AIEN
- 09Quantum Interconnects Link Two 120-Qubit Processors (IBM Research)EN
- 10Accelsius Supports NSF Data Center Efficiency Research at VillanovaEN
- 11Hyperion Research: Nearly 20% Growth in HPC and AI-for-Science Server Market, Dell Takes Lead from HPEEN
- 12Chinese automakers reportedly head to Beijing for talks on EU hybrid export quotasEN
- 13Avoiding an uncontrolled reentry; boost Hubble and keep the science – IsaacmanEN
- 14 On this day in space! Oct. 30, 1964: NASA's weird Lunar Landing Research Vehicle takes 1st test flight to help Apollo astronauts land on the moon EN
- 15Microsoft Research Focus – Edition #97EN
- 16AI acceleration of science – a personal reflection - Wellcome Sanger Institute BlogEN
- 17What Women in Indonesia and Malaysia Want From Research on Climate and HealthEN
- 18Claude helped plan risky bird flu research. What did the AI add?EN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.