Stanford-Studie: 44 Prozent der viel zitierten LLM-Aussagen sind abgelaufen

Der Befund trifft jeden, der einen Benchmark zitiert. Von den 50 Aussagen, die Queen und Zou prüften, waren 44 Prozent bereits abgelaufen.

Das betrifft nicht nur die Autoren, sondern auch die Käufer. Wer ein Modell auswählt, eine interne KI-Richtlinie schreibt oder einen Benchmark in einer Präsentation wiederholt, arbeitet wahrscheinlich mit Belegen, die ein Jahr oder älter sind. Eine Zahl, die 2024 stimmte, sagt womöglich wenig über das Modell, das ein Team 2026 kauft. Die Studie untergräbt auch Vergleiche zwischen Modellen: Bei den Modellen, die zwischen Juli und September 2026 erschienen, reichte die Zahl der abgelaufenen Befunde von 11 bis 30. Was niemand veröffentlicht hat, ist eine Methode, mit der sich vorhersagen lässt, welche Aussagen halten und welche verrotten. Weder Erscheinungsdatum noch Anbieter noch Modellgröße sagten das Muster zuverlässig voraus, schreiben die Autoren.

Auch der Rest der Verteilung ist wenig schmeichelhaft. Weitere 34 Prozent der Aussagen hatten deutlich nachgelassen, 16 Prozent hielten noch, und 6 Prozent waren stärker geworden.

Fünfzig Aussagen, zwanzig Modelle, acht Entwickler

Queen und Zou ließen die 50 Aussagen erneut gegen 20 Modelle laufen. Die Modelle waren zwischen Juli 2024 und September 2026 bei acht verschiedenen Entwicklern erschienen. Bei den 22 Befunden mit geschätztem Ablaufdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten. Das Ablaufen beschleunigt sich. Nach einem Jahr waren 16 Prozent der Befunde abgelaufen, nach zwei Jahren 39 Prozent.

Fünfzehn Monate entsprechen ungefähr einer Modellgeneration.

Am schnellsten verrotten Aussagen über Grenzen

Das Muster ist nicht zufällig. Fünf von neun Befunden zum Schlussfolgern gelten als abgelaufen, keiner hielt stand oder wurde stärker. Zu den Opfern gehören vertraute Klagen: Modelle, die die Buchstaben in strawberry falsch zählen, die bei Arithmetik in ungewohnten Zahlensystemen stolpern, die Informationen in der Mitte eines langen Kontexts verlieren, die eine richtige Antwort aufgeben, wenn ein Nutzer widerspricht. Die Forscher vermuten, dass diese Fehler ein gemeinsames richtiges Ergebnis haben. Das gäbe Entwicklern ein klares Trainingsziel.

Aussagen über Verhalten halten länger. Von den 11 Befunden, die hielten oder stärker wurden, betreffen drei Modelle als Bewerter und drei Schmeichelei und Zustimmung gegenüber Nutzern. Soziale Verzerrungen wirken in beide Richtungen: Die linksgerichtete politische Verzerrung bleibt bestehen, während Geschlechterstereotype und implizite Assoziationsverzerrungen schwächer geworden sind. Die Verzerrung gegenüber Sprecherinnen und Sprechern von African American English hat in den Trenddaten die Richtung gewechselt.

Ein Zitationstest mit einer großen Ausnahme

Die Fallstudie des Papiers sind erfundene Quellenangaben. In der ursprünglichen Arbeit von Walters und Wilder aus 2023 erfand GPT-3.5 55 Prozent seiner Zitate. Bei denselben Prompts erfand GPT-6.1 Sol 0 Prozent, Claude Sonnet 5.5 erfand 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell aus 2026, erfand weiterhin 69 Prozent.

Zwei Modelle aus 2026 stehen an entgegengesetzten Enden dieses Tests.

Die Autoren warnen davor, das als Entwarnung zu lesen. Bei Zwei-Hop-Fragen scheitert Claude Sonnet 5.5 noch in etwa 10 Prozent der Fälle, in denen es beide Teilfragen richtig beantwortet. Im ursprünglichen Papier lag dieser Wert für ChatGPT bei 43 Prozent. Der Reversal Curse und widersprüchliche Antworten auf paarweise gestellte Zeitfragen sind schwächer geworden, aber beide bleiben nachweisbar.

Die Streuung zwischen den Modellen bleibt selbst innerhalb eines Veröffentlichungsfensters groß. Bei den Modellen, die zwischen Juli und September 2026 erschienen, reichten die abgelaufenen Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol.

Andere Labore antworten mit härteren Tests

Die Forschungsrundschau von Microsoft für Ende Oktober beschrieb zwei solcher Anstrengungen. CABRA erzeugt Programmieraufgaben von Grund auf, sodass sich die Komplexität kontrolliert steigern lässt. Über Tausende generierter Aufgaben lösten Agenten Probleme oft, indem sie zu Werkzeugen griffen, taten sich aber weiterhin schwer, unbekannte Codebasen zu verstehen. ForkPilot, ein sich selbst verbesserndes Framework, erreichte in sechs Benchmarks die besten bestehenden Methoden und senkte den Rechenaufwand um bis zu 59 Prozent.

Anderswo lautet die Antwort formale Verifikation. Ein arXiv-Papier über verschränkungsgestützte quantenfehlerkorrigierende Codes nutzte eine Pipeline mit Forscher im Regelkreis und Lean-Beweisprüfung. Sie schloss 54 Lücken in archivierten Tabellen und veröffentlichte 115 verifizierte Code-Datensätze.

Die eigenen Zahlen belegen den Punkt. Über Validierung ausgewählte iterative Programme erreichten 46,1 Prozent und 31,6 Prozent Erfolg bei zurückgehaltenen Ausführungen mit ungesehenen Längen n=13 und n=15. Für unabhängig erzeugte Programme lagen die Werte bei 19,5 Prozent und 3,1 Prozent. Bei der längeren Länge wächst der Abstand.

Kommerzielle Labore verkaufen stattdessen Geschwindigkeit. Jonathan Zanger, CTO von Check Point, sagte, Daybreak habe die Schwachstellenforschung von Stunden auf Minuten verkürzt. Das Werkzeug gibt Verteidigern Zugang zu den Frontier-Cybermodellen von OpenAI, die Schwachstellen analysieren und Angriffspfade nachzeichnen.

Was die Autoren geändert sehen wollen

Queen und Zou wollen die Darstellung geändert sehen. Empirische Befunde über LLMs sollten als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt präsentiert werden, nicht als allgemeine Wahrheiten. Papiere sollten dokumentieren, was sie getestet haben, fügen sie hinzu.

Die praktische Anweisung ist nüchterner. Teste erneut, bevor du zitierst, und datiere den Test.