Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Open Weights holen bei Frontier-Modellen auf, doch das Etikett trägt zu viel Last

Der Bericht State of Open Source AI von Mozilla erschien am 15. September, die Daten reichen bis zum 1. September. Er setzt die besten Open-Weight-Modelle etwa 4,4 Monate hinter die geschlossenen Frontier-Angebote. Ein separater Beitrag der OSI hält diese Lücke für den falschen Maßstab.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 28. September 20265 Min. LesezeitQuellen 2
Open Weights holen bei Frontier-Modellen auf, doch das Etikett trägt zu viel Last

Mozilla hat Version 1.1 des Berichts State of Open Source AI am 15. September veröffentlicht, mit Daten bis zum 1. September. Tom's Hardware berichtete am 16. September, das beste offene Modell liege auf dem Artificial Analysis Intelligence Index drei Punkte hinter dem geschlossenen Spitzenmodell, bei 60% des Preises, und zwei Punkte hinter Claude Fable 5 bei 30%. Mozillas Kurvenanpassung an die METR-Aufgabenhöhendaten ergibt eine Lücke zwischen offen und geschlossen von rund 4,4 Monaten. Das deckt sich mit der Schätzung von Epoch AI von vier Monaten.

Die Methodik ist wichtig, weil die Schlagzeilenzahl weiter reist als ihre Einschränkungen.

METR bewertet Modelle nach der Länge der Aufgabe, gemessen in menschlicher Arbeitszeit, die sie in der Hälfte der Fälle lösen. Nach Mozillas angepasster Schätzung bewältigen geschlossene Modelle Aufgaben, für die menschliche Fachleute 8 bis 12 Stunden brauchen. Offene Modelle erreichen das etwa vier Monate später, wobei sich die offene Fähigkeit laut Mozillas Berechnung alle 3,9 Monate verdoppelt, gegenüber 5,5 bei geschlossenen. Der Bericht hat außerdem die Ergebnisse von vals.ai auf Terminal-Bench 2.1 aufgeführt. Dort laufen alle Modelle durch dieselbe Harness, die Softwareschicht, die einem Modell seine Werkzeuge bereitstellt.

Auf dieser Rangliste erreichte GLM-5.2 von Z.ai einen Punkt Abstand zu Claude Opus 4.7 und lag etwa vier Punkte hinter Opus 4.8, bei weniger als einem Fünftel der Kosten pro Test. Auf OpenRouter, einem Marktplatz, der Entwickler-Traffic an Hunderte von Modellen leitet, zählte Mozilla acht der zehn meistgenutzten Modelle nach Token-Volumen im August als Open Weights, sieben davon in China gebaut.

Dann das Geld.

Geschlossene Anbieter nahmen laut der Linux Foundation von Mai bis September 2025 96% des Umsatzes auf Modellebene über OpenRouter ein. "Wir sehen die Entscheidung, für geschlossene [Modelle] zu zahlen, als arbeitslastspezifisch und nicht organisationsspezifisch", sagte Mozillas Technologiechef Raffi Krikorian per E-Mail an Ars Technica, zitiert im Bericht von Tom's Hardware.

Was die Zahl von vier Monaten auslässt

Zwei Einschränkungen stehen im Bericht selbst. Die Lücke von vier Monaten und die 30% Token-Preisangabe sind API zu API auf gehosteten Endpunkten zum Listenpreis gemessen. Und die Hardware-Tabelle des Berichts setzt das beste offene Modell, das auf einen Server passt, bei 52,6 auf dem Index an und das beste auf einer GPU bei 40, Rückgänge von 10 und 23 Punkten gegenüber der Spitze. Das ist eine breitere Lücke als vier Monate.

Die Anforderungen an das Serving sind die praktische Version desselben Problems. Der native MXFP4-Checkpoint von Kimi K3 umfasst etwa 1,56TB über 96 Shards, und Mozillas Serving-Konfiguration listet 64 oder mehr Beschleuniger, während vLLM mindestens acht GB300 GPUs verlangt, mit mehreren Knoten für Produktions-Traffic. Der Bericht beschreibt das als offen, aber für die meisten, die es besitzen, nicht lauffähig. Tom's Hardware bezifferte den Speicherbedarf im Juli auf nahe 1,5TB. Eine Ausnahme, die der Bericht nennt, ist Inkling-Small von Thinking Machines unter der Apache-2.0-Lizenz, dessen NVFP4-Version auf einen B300 mit 180GB Untergrenze passt.

Die Daten des Berichts enden am 1. September, und die Ranglisten haben sich seither bewegt.

Artificial Analysis hat seinen Index auf v4.3 mit einem anderen Evaluationsset umgestellt; die aktuelle Rangliste führt Claude Fable 5.1 mit 53 auf seiner höchsten Aufwandsstufe und Kimi K3 mit 44, Zahlen, die nicht mit den v4.1.1-Werten vergleichbar sind, die Mozilla aufgetragen hat. Die Terminal-Bench-2.1-Rangliste von vals.ai, aktualisiert am 11. September, wird jetzt von GPT-6 Astra mit 87,27% angeführt, mit Fable 5.1 bei 85,02%. Die Bildunterschrift in Mozillas eigener Grafik lautet: "die Lücke setzt sich mit jedem Release-Zyklus zurück." K3 trägt zudem einen Vorwurf, der in der gemeinsamen Warnung von NSA/CISA/FBI vom 8. September (AA26-251A) ausgeführt wird. Die Behauptung, die Mozillas Bericht als "behauptet und nicht belegt" wiedergibt, lautet, Moonshot habe Daten aus Claude Fable 5 extrahiert, um K3 durch Destillation zu trainieren, also das Training eines Modells auf den Ausgaben eines anderen Modells.

Der Namensstreit unter dem Benchmark-Streit

Die Open Source Initiative nutzte denselben Nachrichtenzyklus, um über Begriffe zu streiten. In einem Beitrag vom 19. September schrieb die OSI, Open Weights erlaubten es, einige der vier Softwarefreiheiten auszuüben, die Freiheit zu nutzen, zu studieren, zu verändern und zu teilen, ohne den Rechteinhaber zu fragen, aber nicht alle, und nur bis zu einem gewissen Grad.

Die Einordnung der OSI: Ein KI-Modell hat drei Hauptbestandteile, Trainingsdaten, Gewichte und Parameter sowie Code für Datenaufbereitung und Training. Open-Weight-Veröffentlichungen liefern die Gewichte, was es erlaubt, ein Modell lokal laufen zu lassen, einen Dritten mit dem Hosting zu beauftragen oder es auf eigenen Daten zu fine-tunen. Die anderen Bestandteile liefern sie nicht. Ohne den Code und die Trainingsdaten oder eine Darstellung, wie die Daten entstanden sind, so argumentiert die OSI, lässt sich ein Modell nicht vollständig prüfen, um zu beantworten, warum es eine Ausgabe erzeugt hat oder ob diese Ausgabe vertrauenswürdig ist. Der Beitrag nennt Olmo von Ai2 als Beispiel für ein großes Sprachmodell, dessen vollständiger Trainingsdatensatz und dessen Checkpoints es Forschern erlauben, zu untersuchen, wie ein Modell injizierte Informationen auswendig lernt oder vergisst.

Der Unterschied ist nicht akademisch für alle, die die Mozilla-Zahlen als Kaufberatung lesen. Mozillas Bericht zählt 16 bemerkenswerte offene Veröffentlichungen, merkt aber an, dass keine das Datenrezept liefert, das die Definition der Open Source Initiative verlangt. Mozilla ist zudem ein Fürsprecher offener Modelle: TIME berichtete am 14. Juli, Krikorian habe den Bericht teils als Advocacy beschrieben. Der Bericht stützt sich auf eine Umfrage von Mozilla und SlashData unter rund 1.400 Entwicklern, auf OpenRouter-Traffic-Daten und auf Benchmark-Indizes Dritter.

Was keines dieser Dokumente klärt, ist die Frage, ob billigere, etwas hinterherhinkende Gewichte für die Arbeitslasten reichen, die Menschen tatsächlich fahren. Die Umsatzverteilung sagt, dass die meisten Käufer noch für geschlossene Modelle zahlen. Die Token-Volumen-Verteilung sagt, dass der meiste Traffic bereits offen ist. Beides kann gleichzeitig stimmen, und die Zahl von vier Monaten entscheidet nicht zwischen beidem.

Kommentare 0

Quellen

2
  1. 01China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claimsEN
  2. 02Open Weights Are Good. Open Source Is Better.EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.