Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

KI-Modelle erscheinen immer schneller, doch die Benchmarks kommen nicht mit

Zehn der 20 aktuellen Modelle, die stale.jock.pl führt, kommen ohne veröffentlichten Trainings-Cutoff. Chinesische Modelle erreichten in der Woche des 14. September 57 bis 67 Prozent der Tokens auf OpenRouter.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 28. September 20268 Min. LesezeitQuellen 3
KI-Modelle erscheinen immer schneller, doch die Benchmarks kommen nicht mit

Zwischen dem 1. und dem 22. September 2026 kamen sechs Modelle auf den Markt, geht aus dem Modell-Tracker von stale.jock.pl hervor. Der Tracker listet Veröffentlichungsdaten und Trainings-Cutoffs für 20 aktuelle Modelle aus acht Laboren. Allein OpenAI brachte am 22. September drei heraus: GPT-6 Sol, GPT-6 Luna und am selben Tag Claude Opus 5.5 von Anthropic, wie aus der Tabelle des Trackers und aktuellen Schlagzeilen hervorgeht. Labore messen den Veröffentlichungskalender für Frontier-KI-Modelle inzwischen in Tagen, nicht in Quartalen.

Doch das Instrument, mit dem diese Modelle beurteilt werden, hält nicht Schritt. Nur die Hälfte der Modelle auf dieser Liste hat einen veröffentlichten Trainings-Cutoff, also das Datum, an dem ein Modell aufgehört hat zu lesen. Fünf der acht Labore, Anthropic, Google DeepMind, Meta, OpenAI und xAI, veröffentlichen für mindestens ein Modell einen Cutoff, heißt es beim Tracker. Eine leere Angabe bedeutet, dass die geprüften Quellen der Anbieter keinen Cutoff belegen konnten. Sie ist kein Beweis, dass keiner existiert.

Die Lücke zwischen Ausliefern und Wissen

Der Tracker formuliert es selbst nüchtern: Zwei Daten entscheiden, wie aktuell ein Modell wirklich ist. Das Veröffentlichungsdatum ist der Tag, an dem das Labor das Modell ausgeliefert hat; der Trainings-Cutoff ist der Tag, an dem es aufgehört hat zu lesen. GPT-6 Astra, veröffentlicht am 3. September 2026, hat laut der Seite einen Cutoff vom 30. April 2026. Damit lag es am Tag der Veröffentlichung rund vier Monate zurück. Claude Fable 5.1, veröffentlicht am 1. September 2026, trägt einen Cutoff von Juni 2026. Gemini 3.1 Pro, veröffentlicht am 19. Februar 2026, hörte im Januar 2025 auf zu lesen, mehr als ein Jahr vor seiner Auslieferung.

Ein Modell kann im September erscheinen und trotzdem im April aufgehört haben zu lesen. Dann ist es am Tag seiner Veröffentlichung fünf Monate hinterher.

Diese Lücke wiegt schwerer, je kürzer die Veröffentlichungszyklen werden. Mistral AI brachte Mistral Large 3 am 2. Dezember 2025 heraus, Mistral Small 4 am 16. März 2026 und Mistral Medium 3.5 am 28. April 2026, alle ohne veröffentlichten Cutoff, so der Tracker. Auch Alibabas Qwen3.8-Max (3. August 2026), Qwen3.8-Flash (26. August 2026) sowie DeepSeeks V4-Pro (13. August 2026) und V4.1-Flash (10. September 2026) sind ohne veröffentlichten Cutoff gelistet. Dasselbe gilt für Metas Muse Glimmer und Muse Spark 1.3 und für Gemini 3.8 Flash von Google DeepMind.

Suchwerkzeuge schließen die Lücke nicht, argumentiert die Seite. Ein Modell, das im Web sucht, liest ein paar Seiten, nutzt sie für eine Antwort und vergisst sie wieder. Öffne einen neuen Chat, und es ist zurück auf seinem Cutoff. Schlimmer noch: Das Modell muss die Suche selbst auslösen, mit denselben Gewichten, die die veraltete Tatsache enthalten. Fehler landen also dort, wo das Modell sich am sichersten fühlt. Die Seite zitiert eine Messung mit über 2.000 Aufrufen bei 16 Modellen, jedes mit einem Web-Suchwerkzeug ausgestattet. Frontier-Modelle entschieden fast immer richtig. Schwächere gaben gesicherte Fakten an, die sich geändert hatten, und suchten im Web nach Dingen wie dem Siedepunkt von Wasser.

Die Nutzung verschiebt sich schneller als die Benchmarks

Während die Labore um Veröffentlichungen rennen, erzählen die Nutzungsdaten eine andere Geschichte darüber, zu welchen Modellen Entwickler tatsächlich greifen. Chinesische KI-Modelle kamen 2026 auf zwei großen Entwicklerplattformen von einem kleinen Anteil auf die Mehrheit, berichtet CNBC unter Berufung auf Nutzungsdaten, die dem Sender vorlagen. Auf OpenRouter entfielen in der Woche des 14. September 57 bis 67 Prozent der genutzten Tokens auf chinesische Modelle, nach 6 bis 13 Prozent im Februar. Bei Vercel stieg ihr Anteil im August auf 55 Prozent, nach 11 Prozent im Januar.

Die Verbreitung konzentriert sich auf das, was OpenRouter als Globalen Süden definiert: 82 Länder in Mittel- und Südamerika, Afrika und Asien. Mehr als zwei Drittel der Tokens, die Unternehmen dort verbrauchen, gehen an chinesische Modelle, meldet CNBC. Unternehmen in den USA nutzen etwa die Hälfte der Tokens auf OpenRouter.

Der Preis ist der Treiber, sagen Personen, mit denen CNBC gesprochen hat. Peter Walker, Leiter der Insights bei OpenRouter, sagte dem Sender, die in diesem Jahr veröffentlichten chinesischen Open-Source-Modelle "can credibly perform in advanced agentic use cases, especially in regards to coding, in a way that was just not true in late 2025". Sie seien zudem "incredibly cost-effective compared to most models from American labs", so Walker. Harpreet Arora, Leiter der Agentic-Infrastruktur bei Vercel, sagte CNBC, sobald ein Modell die Qualitätslatte für eine Aufgabe erreiche, werde der Preisunterschied ausschlaggebend. Für kompliziertere Aufgaben wollten Unternehmen weiterhin Frontier-Modelle aus den USA, sagte er.

Anfang der Woche kündigten OpenAI und Anthropic laut CNBC beide neue, günstigere Modelle an. Dianne Penn, Leiterin für Produktmanagement, Forschung und Labs bei Anthropic, sagte dem Sender, das Unternehmen versuche, die Antworten seiner Modelle "more efficient, so it uses less tokens depending on your effort setting" zu machen.

Washington beobachtet die Token-Zahlen

Die Verschiebung erregt in Washington Aufmerksamkeit: Zwei Ausschüsse des US-Repräsentantenhauses untersuchen laut CNBC die Folgen der wachsenden Verbreitung chinesischer Modelle. Die USA haben chinesischen KI-Unternehmen den Kauf der fortschrittlichsten Chips durch Exportkontrollen verwehrt. Washington sorgt sich, dass sie über Datenzentren im Ausland remote auf Nvidia-Chips zugreifen. Es sorgt sich auch um "Distillation", also darum, dass neue Modelle ältere, etabliertere nachahmen.

Chinesische KI berge "real economic and security risks for the United States", sagte Daniel Remler, Senior Fellow im Programm für Technologie und nationale Sicherheit beim CNAS, zu CNBC. "The ultimate concern is that the integration of Chinese AI models pulls countries into a Chinese technology sphere of influence that hardens into geopolitical alignment", sagte er. Remler fügte hinzu, besonders in Südostasien sei eine deutliche Übernahme denkbar. "Anywhere from Lagos to São Paulo to Jakarta where entrepreneurs and governments are looking for cheap, open models, will look first to Chinese AI", sagte er.

Nvidia versucht, diese Rechnung mit Software statt mit Chips zu ändern. Das Unternehmen bereitet ein kostenloses Modell vor, das voraussichtlich Nemotron 4 heißen soll und bis Jahresende erscheinen soll. Es richtet sich an Käufer, die bereits Nvidia-Hardware betreiben, sagte der Analyst Marc Einstein von Counterpoint Research zu Rest of World. Kaum ein Land passt besser zu dieser Beschreibung als die VAE, deren zentrales Datenzentrum mit 400.000 Nvidia-Chips laufen soll, berichtete die Publikation. Nvidia hat zudem zugestimmt, fast 13.000.000.000 Dollar für den Kauf von Hugging Face zu zahlen, der Plattform, auf der Entwickler Modelle teilen und herunterladen, so Rest of World.

Der Hintergrund dieser Ausgaben: Frühere Versionen US-amerikanischer KI-Modelle lagen weit hinter den kostenlosen Modellen Chinas zurück. Diese kostenlosen Modelle wurden in diesem Jahr rund 2.000.000.000 Mal heruntergeladen, weit vor jedem westlichen Rivalen, heißt es in einem August-Bericht von Hugging Face, den Rest of World zitiert. Regierungen, die eigene Modelle bauen, beginnen meist mit einem kostenlosen Modell von Meta oder Alibaba. Einstein zufolge sollen Nvidias Ausgaben Nemotron zur Basis machen, die sie stattdessen wählen.

Was die Benchmarks übersehen

Nichts davon löst das eigentliche Messproblem. Die Benchmark-Werte eines Modells sagen nichts darüber, ob es weiß, was nach seinem Cutoff passiert ist. Die Seite stale.jock.pl schlägt einen einfachen Test vor: Frage ein Modell direkt nach seinem Trainings-Cutoff. Ein wohlerzogenes Modell antwortet oder sagt, dass es sich nicht sicher ist. Eines, das ein selbstbewusstes Datum erfindet, hat damit etwas Nützliches über sich verraten, argumentiert die Seite. Sie ergänzt, die Antwort sollte mit dem Tracker abgeglichen werden, denn ein Modell ist eine schlechte Quelle zu Modellen.

Die Seite bietet außerdem einen maschinenlesbaren Export an, models.json, mit Veröffentlichungsdatum, veröffentlichtem Cutoff und einem Quellenlink für alle 20 Modelle. Sie schlägt vor, einen Agenten über die AGENTS.md- oder CLAUDE.md-Anweisungsdatei darauf zu verweisen, die der Agent ohnehin liest. Der Export wird neu erzeugt, wenn die Seite neu erzeugt wird, sodass ein Agent die heutigen Daten liest und nicht die, die in seinen Gewichten stecken.

Das ist ein Behelf, keine Lösung. Die Labore bestimmen, was sie offenlegen, und die Hälfte der aktuellen Modelle im Tracker trägt weiterhin keinen veröffentlichten Cutoff. Bis sich das ändert, benotet jeder, der Modelle allein anhand von Benchmarks vergleicht, eine Momentaufnahme, die schon bei ihrer Veröffentlichung veraltet war.

Kommentare 0

Quellen

3
  1. 01Show HN: How Stale Is Your AI? Release age and training cutoff for 20 modelsEN
  2. 02Chinese AI models surge in global popularity — and Washington is worriedEN
  3. 03Nvidia's free AI model could push the UAE closer to the U.S.EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.