Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Neue KI-Modelle starten mit monatealten Trainingsdaten, zeigt ein Tracker

Zehn von 20 aktuellen Modellen aus acht Laboren nennen einen Trainingsstichtag. Zwischen diesem Datum und dem Marktstart können bis zu fünf Monate liegen, wie ein am 16. September veröffentlichter Tracker zeigt.

KI & ModelleErklärtLena BrandtVeröffentlicht: 28. September 20264 Min. LesezeitQuellen 1
Neue KI-Modelle starten mit monatealten Trainingsdaten, zeigt ein Tracker

Die Seite heißt How stale is your AI und tut nur eines: Sie stellt zwei Daten neben 20 Modellnamen und lässt sie hochzählen. Das Veröffentlichungsdatum ist der Tag, an dem das Labor das Modell ausgeliefert hat. Der Trainingsstichtag ist der Tag, an dem es aufgehört hat zu lesen. Laut der Seite nennen 10 der 20 aufgeführten Modelle einen Stichtag, den ihr Labor tatsächlich veröffentlicht.

Das ist das ganze Benchmark-Argument im Kleinen. Modellstarts werden an Benchmarks gemessen, die zum Zeitpunkt der Veröffentlichung laufen. Alles nach dem Stichtag fehlt dagegen schlicht in dem, was das Modell weiß. Das Beispiel der Seite selbst: GPT-6 Astra erschien am 3. September 2026, seine Trainingsdaten enden am 30. April 2026. Am Tag des Starts lag es bereits vier Monate zurück.

Was die Daten zeigen

Nehmen wir die Einträge, bei denen beide Daten vorliegen. Llama 4 erschien am 5. April 2025 mit einem Stichtag im August 2024. Claude Haiku 4.5 erschien am 15. Oktober 2025 mit Juli 2025. Gemini 3.1 Pro erschien am 19. Februar 2026 mit Januar 2025, ein Abstand von mehr als einem Jahr. Claude Sonnet 5 (30. Juni 2026, Januar 2026), Claude Fable 5.1 (1. September 2026, Juni 2026), GPT-6 Astra (3. September 2026, 30. April 2026), Grok 4.7 (21. September 2026, Mai 2026), Claude Opus 5.5 (22. September 2026, Juni 2026), GPT-6 Sol (22. September 2026, 20. April 2026) und GPT-6 Luna (22. September 2026, 18. Mai 2026) vervollständigen die veröffentlichte Gruppe.

Die anderen zehn Zeilen sind leer. Mistral Large 3, Mistral Small 4, Mistral Medium 3.5, Qwen3.8-Max, Muse Glimmer, DeepSeek V4-Pro, Qwen3.8-Flash, Gemini 3.8 Flash, Muse Spark 1.3 und DeepSeek V4.1-Flash zeigen alle "Not established." Die Seite ist vorsichtig mit der Deutung: Eine leere Zeile heißt, dass die geprüften Herstellerquellen für dieses Modell keinen Stichtag ermitteln konnten, nicht dass das Labor nie einen veröffentlicht hat. Fünf der acht Labore, Anthropic, Google DeepMind, Meta, OpenAI und xAI, haben für mindestens ein Modell auf der Seite einen veröffentlichten Stichtag.

Der Trainingsstichtag ist der Tag, an dem ein Modell aufgehört hat zu lesen. Alles, was danach geschah, fehlt schlicht in dem, was das Modell weiß. Ein Modell kann im September erscheinen und trotzdem im April aufgehört haben zu lesen. Dann liegt es am Tag seines Starts fünf Monate zurück.

Die interessanteste Aussage der Seite dreht sich gar nicht um Daten. Sie dreht sich darum, was passiert, wenn man einem Modell einen Suchknopf in die Hand gibt und es selbst entscheiden lässt, ob es ihn nutzt. Der Autor berichtet von 2000 Aufrufen über 16 Modelle, die jeweils ein Web-Suchwerkzeug hatten. Frontier-Modelle entschieden in diesem Lauf fast immer richtig. Schwächere beantworteten geklärte Fragen aus dem Gedächtnis, nachdem sich die Antwort geändert hatte, und suchten im Web nach Dingen wie dem Siedepunkt von Wasser. In einer Darstellung auf der Seite wurden 16 Modelle gefragt, wer der König von Norwegen ist, und fünf nannten einen Toten.

Das sollte man genau lesen. Die Suchentscheidung läuft auf denselben Gewichten, die den veralteten Fakt tragen. Die Fehler landen also genau dort, wo sich das Modell am sichersten fühlt. Suchwerkzeuge überdecken die Lücke, sie schließen sie nicht. Wer einen neuen Chat öffnet, findet das Modell wieder an seinem Stichtag.

Der unangenehme Teil für Benchmarks

Das ist wichtig dafür, wie Veröffentlichungs-Benchmarks gelesen werden. Ein Modell kann im September eine Bestenliste anführen, mit Fragen, deren Antworten vor April geklärt waren. Niemand, der die Evaluation durchführt, prüft dabei das Stichtagsdatum auf der Modellkarte. Veröffentlicht ein Labor den Stichtag nicht, ist die leere Zeile im Tracker die ehrliche Antwort: Niemand außerhalb des Labors kann die Lücke messen.

Es gibt auch ein Problem zweiter Ordnung. Ein Modell ist eine schlechte Quelle über Modelle. Fragt man es direkt nach seinem Trainingsstichtag, antwortet ein wohlerzogenes Modell oder sagt, es sei sich nicht sicher, so die Seite. Eines, das ein überzeugtes Datum erfindet, hat etwas Nützliches über sich selbst verraten. Veröffentlichungsdaten, Versionsnummern und die Frage, welches Modell aktuell ist, enden alle am Stichtag, und die falsche Antwort klingt trotzdem überzeugt.

Der vorgeschlagene Fix ist klein und praktisch. Man schreibt ein paar Zeilen in die AGENTS.md- oder CLAUDE.md-Datei, die ein Agent ohnehin liest. Darin steht die Anweisung, vor der Nennung eines Modells, einer Version oder eines Datums als aktuell die models.json der Seite abzurufen und alles mit einem Datum daran als ungeprüft zu behandeln, bis es geprüft ist. Der Export enthält Veröffentlichungsdatum, veröffentlichten Stichtag und einen Quellenlink pro Modell und wird neu erzeugt, wann immer die Seite es wird. Die Seite stellt den Wortlaut bereit, fertig zum Einfügen.

Nichts davon ist ein Benchmark im üblichen Sinn. Es gibt keine Punktzahl, keine Bestenliste und keinen vom Labor eingereichten Lauf. Es ist eine Datumstabelle mit einem JSON-Export und einem Argument dazu: dass das zweite Datum auf einer Modellkarte dieselbe Prüfung verdient wie das erste.

Wer zwei Modelle vergleicht, die in derselben Woche erschienen sind, bekommt vom Tracker eine Frage dazu, die die meisten Startberichte auslassen. Wann hat jedes aufgehört zu lesen, und hat sich das Labor die Mühe gemacht, es zu sagen?

Kommentare 0

Quellen

1
  1. 01How stale is your AI? Release age and training cutoff for 20 modelsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.