Stanford-Studie: LLM-Aussagen verfallen im Schnitt nach 15,7 Monaten

Was am schnellsten verfällt: Aussagen darüber, was Modelle nicht können

Queen und Zou ließen die 50 Aussagen an 20 Modellen von acht Anbietern laufen, die zwischen Juli 2024 und September 2026 erschienen sind. Das Ergebnis ist alles andere als einheitlich.

Für jeden, der einen Benchmark zitiert, ist das wichtig. Die Belege hinter solchen Aussagen halten etwa ein Jahr und ein Quartal. Wer auf veröffentlichten Befunden aufbaut, zielt auf ein bewegliches Ziel. Das gilt auch für Käufer, die Modelle nach veröffentlichten Vergleichen auswählen. Es gibt kein vereinbartes Verfahren, eine Aussage als verfallen zu kennzeichnen. Leser müssen Modell und Datum selbst prüfen.

Die 50 Aussagen verteilten sich ungleich. Insgesamt waren 44 Prozent verfallen, 34 Prozent deutlich abgeschwächt, 16 Prozent hielten noch und 6 Prozent waren stärker geworden. Bei den 22 Befunden mit geschätztem Verfallsdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten. Der Verfall beschleunigt sich zudem. Nach einem Jahr waren 16 Prozent der Befunde verfallen. Nach zwei Jahren lag die Zahl bei 39 Prozent.

Aussagen darüber, was Modelle nicht können, veralten am schnellsten.

Fünf von neun Befunden zum Schlussfolgern sind verfallen. Keiner hielt stand oder wurde stärker. Die Liste liest sich wie ein Rundgang durch vertraute Schwächen. Das Zählen der Buchstaben in strawberry gehört dazu. Auch Arithmetik in ungewohnten Zahlensystemen. Ebenso der Verlust von Informationen in der Mitte langer Kontexte. Und das Aufgeben einer richtigen Antwort, wenn ein Nutzer nachhakt. Queen und Zou vermuten, dass diese Fehler ein gemeinsames richtiges Ergebnis haben, was Entwicklern ein klares Trainingsziel gibt.

Was überlebt hat: Präferenzen, Sycophancy und Bias

Von den 11 Befunden, die hielten oder stärker wurden, betreffen drei LLMs als Bewerter. Modelle bevorzugen ihre eigenen Antworten. Sie bewerten angenommene und abgelehnte Papers ähnlich und lassen sich von sprachlicher Färbung in medizinischen Abstracts beeinflussen.

Drei weitere betreffen Sycophancy und Zustimmung gegenüber Nutzern.

Beim Bias ist das Bild gemischt. Eine politische Neigung nach links bleibt bestehen. Geschlechterstereotype und implizite Assoziationsverzerrungen haben sich abgeschwächt. Verzerrungen gegenüber Sprecherinnen und Sprechern von African American English haben in den Trenddaten die Richtung gewechselt.

Der Zitationstest: 55 Prozent auf null, aber nicht überall

Als Fallstudie sahen sich die beiden erfundene wissenschaftliche Zitate an. In der ursprünglichen Studie von Walters und Wilder aus 2023 erfand GPT-3.5 55 Prozent seiner Referenzen. Queen und Zou schickten dieselben Prompts an aktuelle Modelle. GPT-6.1 Sol erfand 0 Prozent, Claude Sonnet 5.5 kam auf 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell aus 2026, erfand im selben Test noch 69 Prozent seiner Referenzen.

Erfundene Zitate sind der sauberste Fall in der Studie. Die ursprünglichen Prompts ließen sich exakt wiederholen.

Die Verbesserung ist real, aber teilweise. Bei Zwei-Hop-Fragen muss ein Modell zwei bekannte Fakten verbinden. Claude Sonnet 5.5 scheitert noch in etwa 10 Prozent der Fälle, in denen es beide Einzelfragen richtig beantwortet. Die ursprüngliche Arbeit nannte 43 Prozent für ChatGPT.

Die Lücke zwischen den Modellen ist groß, und der Einsatz beschleunigt sich

Unter den Modellen, die zwischen Juli und September 2026 erschienen sind, reichen die verfallenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Die Größe erklärt das nicht. Erscheinungsdatum, Anbieter und Modellgröße sagen das Muster nicht zuverlässig voraus.

Zugleich wandern die Systeme, in denen diese Modelle stecken, in die Produktion. Forscher von Microsoft berichteten, dass Coding-Agenten Probleme oft mit Werkzeugen lösen. Schwierig bleibt es, wenn sie fremde Codebasen verstehen müssen, heißt es in Microsoft Research Focus vom 29. Oktober. Dieselbe Ausgabe beschreibt ForkPilot. Das Framework senkte den KI-Rechenbedarf über sechs Benchmarks hinweg um bis zu 59 Prozent.

Die Sicherheitsarbeit zeigt dieselbe Verdichtung. OpenAI teilte am 27. Oktober mit, Check Point habe die Schwachstellenforschung mit seinen Daybreak-Modellen von Stunden auf Minuten verkürzt. Die Aussage stammt von Check-Point-Technikchef Jonathan Zanger.

Die Hardware-Rechnung steigt mit. Hyperion Research meldete am 3. November, dass der Umsatz mit lokaler HPC- und KI-für-die-Wissenschaft-Hardware im ersten Halbjahr 2026 16,5 Mrd. Dollar erreichte. Das sind 19,9 Prozent mehr als die 13,8 Mrd. Dollar im zweiten Halbjahr 2025. Die Stückzahlen wuchsen im selben Zeitraum nur um 4,4 Prozent. Das deutet auf steigende Systemkosten hin. Dell übernahm mit 4,2 Mrd. Dollar Serverumsatz im ersten Halbjahr 2026 die Marktführung. Damit endete eine mehr als 25 Jahre währende Führung von HPE.

Earl Joseph, Vorstandschef von Hyperion Research, führte die Nachfrage auf zwei Dinge zurück. Organisationen ersetzen alternde Maschinen, sagte er. Außerdem wollen sie KI in ihre Arbeitsabläufe einbinden.

Zusammengenommen ziehen die beiden Trends in entgegengesetzte Richtungen. Käufer geben pro System mehr aus. Gleichzeitig veralten die veröffentlichten Belege, mit denen sie Modelle vergleichen, nach etwa 15 Monaten. Ein Benchmark-Ergebnis von vor einem Jahr kann ein Modell beschreiben, das inzwischen ersetzt wurde.

Was die Autoren fordern, und was offen bleibt

Queen und Zou kommen zu dem Schluss, dass empirische Befunde über LLMs als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt dargestellt werden sollten, nicht als allgemeine Wahrheiten. Ihre Empfehlung ist eng gefasst. Modell nennen, Version nennen, Monat nennen.

Die Autoren warnen vor einem voreiligen All-clear.

Der Reversal Curse und widersprüchliche Antworten auf Paare zeitbezogener Fragen haben sich abgeschwächt. Sie sind noch erkennbar. Die Aussage, dass ein System bei einer Aufgabe scheitert, betrifft einen bestimmten Build, nicht die Technologie. Ob das Muster für Modelle gilt, die nach September 2026 erscheinen, ist unbekannt.