Offene Gewichte holen auf, aber das Label trägt zu viel Last

Mozilla veröffentlichte am 15. September Version 1.1 des Berichts „State of Open Source AI“ auf Basis von Daten bis zum 1. September. Tom's Hardware meldete am 16. September, dass das beste offene Modell auf dem Artificial Analysis Intelligence Index drei Punkte hinter dem führenden geschlossenen Modell lag, bei 60 % des Preises, und zwei Punkte hinter Claude Fable 5 bei 30 %. Mozillas Schätzung auf Basis der METR-Task-Horizon-Daten setzt die Lücke zwischen offenen und geschlossenen Modellen auf etwa 4,4 Monate. Das deckt sich mit der Vier-Monats-Schätzung von Epoch AI.

Die Methodik ist entscheidend, denn die Schlagzeilenzahl verbreitet sich weiter als ihre Einschränkungen.

METR bewertet Modelle anhand der Länge der Aufgabe, gemessen in menschlicher Arbeitszeit, die sie zu 50 % abschließen. Laut Mozillas geschätzter Kurve bewältigen geschlossene Modelle Aufgaben, für die menschliche Experten 8 bis 12 Stunden benötigen. Offene Modelle erreichen dieses Niveau etwa vier Monate später. Mozillas Berechnung zufolge verdoppelt sich die Leistungsfähigkeit offener Modelle alle 3,9 Monate, bei geschlossenen Modellen alle 5,5 Monate. Der Bericht kartierte zudem die Ergebnisse von vals.ai auf Terminal-Bench 2.1, die jedes Modell durch dieselbe Testumgebung führen, die Softwareebene, die einem Modell seine Werkzeuge bereitstellt.

Auf diesem Board erzielte GLM-5.2 von Z.ai einen Wert innerhalb eines Punkts von Claude Opus 4.7 und lag etwa vier Punkte hinter Opus 4.8, bei weniger als einem Fünftel der Kosten pro Test. Auf OpenRouter, einem Marktplatz, der Entwickler-Traffic auf Hunderte von Modellen umleitet, zählte Mozilla im August acht der Top-10-Modelle nach Token-Volumen als offene Gewichte, sieben davon chinesischer Herkunft.

Dann das Geld.

Geschlossene Anbieter nahmen von Mai bis September 2025 96 % der Umsätze auf der Model-Ebene auf OpenRouter ein, so die Linux Foundation. „Wir sehen die Entscheidung, für geschlossene [Modelle] zu bezahlen, als arbeitslastspezifisch und nicht organisationsbezogen“, teilte Mozillas CTO Raffi Krikorian Ars Technica per E-Mail mit, wie im Tom's Hardware-Bericht zitiert.

Was die Vier-Monats-Zahl auslässt

Zwei Einschränkungen finden sich im Bericht selbst. Die Vier-Monats-Lücke und der 30-%-Token-Preis werden API zu API auf gehosteten Endpunkten zum Listenpreis gemessen. Und das eigene Hardware-Diagramm des Berichts setzt das beste offene Modell, das auf einen Server passt, auf 52,6 auf dem Index und das beste auf einer GPU auf 40, Rückgänge von 10 und 23 Punkten vom Spitzenwert. Das ist eine größere Lücke als vier Monate.

Die Serving-Anforderungen sind die praktische Version desselben Problems. Das native MXFP4-Checkpoint von Kimi K3 läuft auf etwa 1,56 TB über 96 Shards. Mozillas Serving-Konfiguration listet 64 oder mehr Acceleratoren, während vLLM mindestens acht GB300 GPUs verlangt, mit mehreren Knoten für Produktions-Traffic. Der Bericht beschreibt dies als offen, aber nicht für die meisten ausführbar, die es besitzen. Tom's Hardware setzte den Speicherbedarf im Juli nahe an 1,5 TB. Eine Ausnahme, die der Bericht nennt, ist Inkling-Small von Thinking Machines unter der Apache 2.0-Lizenz, dessen NVFP4-Version auf eine B300 bei einer Untergrenze von 180 GB passt.

Die Daten des Berichts enden am 1. September, und die Boards haben sich seitdem bewegt.

Artificial Analysis hat seinen Index auf v4.3 mit einem anderen Evaluierungsset umgestellt. Das Live-Board zeigt Claude Fable 5.1 bei 53 auf der höchsten Anstrengungseinstellung, Kimi K3 bei 44. Diese Zahlen sind nicht mit den v4.1.1-Werten vergleichbar, die Mozilla plotzte. Das Terminal-Bench 2.1-Board von vals.ai, aktualisiert am 11. September, wird nun von GPT-6 Astra bei 87,27 % angeführt, mit Fable 5.1 bei 85,02 %. Mozillas eigener Diagrammtitel lautet: „die Lücke setzt sich mit jedem Release-Zyklus zurück.“ K3 trägt auch eine Anschuldigung, die im gemeinsamen Advisory von NSA/CISA/FBI vom 8. September (AA26-251A) detailliert wird. Die Behauptung, die Mozillas Bericht als „behauptet und nicht bewiesen“ angibt, ist, dass Moonshot Claude Fable 5-Daten extrahierte, um K3 durch Destillation zu trainieren, die Praxis, ein Modell auf den Ausgaben eines anderen Modells zu trainieren.

Der Namensstreit unter dem Benchmark-Streit

Die Open Source Initiative nutzte denselben Nachrichtenzyklus, um über Vokabular zu streiten. In einem Beitrag vom 19. September schrieb die OSI, dass offene Gewichte es ermöglichen, einige der vier Software-Freiheiten auszuüben, die Freiheit zu nutzen, zu studieren, zu modifizieren und zu teilen, ohne den Rechteinhaber zu fragen, aber nicht alle und nur in einem gewissen Maße.

Das Framing der OSI: Ein KI-Modell hat drei Hauptkomponenten, Trainingsdaten, Gewichte und Parameter, und Code für Datenvorbereitung und Training. Open-Weight-Veröffentlichungen liefern die Gewichte, was es ermöglicht, ein Modell lokal auszuführen, einem Drittanbieter die Beherbergung zu überlassen oder es auf eigenen Daten feinjustieren zu lassen. Sie liefern die anderen Komponenten nicht. Ohne den Code und die Trainingsdaten oder eine Aufzeichnung, wie die Daten erstellt wurden, kann man ein Modell nach Ansicht der OSI nicht vollständig inspizieren, um zu beantworten, warum es eine Ausgabe produzierte oder ob diese Ausgabe vertrauenswürdig ist. Der Beitrag zitiert Olmo von Ai2 als Beispiel für ein Large Language Model, dessen vollständiger Trainingsdatensatz und Checkpoints es Forschern ermöglichen, zu studieren, wie ein Modell injizierte Informationen memorisiert oder vergisst.

Die Unterscheidung ist nicht akademisch für jeden, der Mozillas Zahlen als Kaufleitfaden liest. Mozillas Bericht zählt 16 bemerkenswerte offene Veröffentlichungen, stellt aber fest, dass keine das Datenrezept liefert, das durch die Definition der Open Source Initiative gefordert wird. Mozilla ist auch ein Fürsprecher für offene Modelle: TIME berichtete am 14. Juli, dass Krikorian den Bericht als teilweise Advocacy beschrieb. Der Bericht basiert auf einer Mozilla/SlashData-Umfrage von rund 1.400 Entwicklern, OpenRouter-Trafficdaten und fremden Benchmark-Indizes.

Was keines dieser Dokumente klärt, ist, ob günstigere, leicht zurückliegende Gewichte für die Workloads ausreichen, die Leute tatsächlich ausführen. Die Umsatzverteilung sagt, dass die meisten Käufer immer noch für geschlossene Modelle bezahlen. Die Token-Volumen-Verteilung sagt, dass der meiste Traffic bereits offen ist. Beides kann gleichzeitig wahr sein, und die Vier-Monats-Zahl entscheidet nicht zwischen ihnen.