Open Weights erklärt: kostenlose Modelldateien, bezahlte Rechenleistung und eine unübersichtliche Rechnung

„Open Weight“ heißt: Die Modelldateien selbst lassen sich herunterladen. Model Price Watch wertet Hosting-Preise aus und zählte in seiner Erhebung vom 1. Oktober 82 Open-Weight-Modelle bei Inference-Anbietern. Die Gewichte sind kostenlos, der Kunde zahlt nur die Rechenleistung.

Das ist die ganze Idee in einem Satz, und genau hier beginnt die Verwirrung. Kostenlose Dateien bedeuten keine kostenlosen Antworten. Ein Modell muss irgendwo laufen, auf den Chips von jemandem, und dieser jemand rechnet pro Million Tokens ab. Dieselben Gewichte können deshalb zu völlig unterschiedlichen Preisen auftauchen, je nachdem, wer sie bereitstellt. Die Rechnung hängt allein von dieser Wahl ab.

Was die Zahlen tatsächlich sagen

Nehmen wir die beiden Spitzenreiter in der Tabelle von Artificial Analysis. GLM-5.3 von Zhipu AI erreicht 44,8 für Intelligenz und 74,8 für Coding, bei 2,15 Dollar pro Million Tokens, laut dem Leaderboard von The Open Weights. Kimi K3 von Moonshot AI kommt auf 43,6 und 76,2 und wird mit 3,00 Dollar gelistet. GLM 5.3 Flash liegt mit 41,8 und 71,5 für 0,24 Dollar auf Platz drei. Xiaomis MiMo-V2.6-Pro, ein Neueinsteiger, landet mit 64,5 auf der separaten Open-Weights-Tabelle von BenchLeader, wo es mit 0,54 Dollar bepreist ist.

Diese beiden Leaderboards messen nicht dasselbe und ordnen Modelle nicht gleich ein. Die Liste von BenchLeader führt Kimi K3 mit 66,2 an, gefolgt von GLM 5.3 mit 64,7 und MiMo-V2.6-Pro mit 64,5. Die Tabelle von The Open Weights, die Artificial Analysis nennt und am 1. Oktober aktualisiert wurde, setzt GLM-5.3 auf Platz eins. Wer die beiden vergleicht, sollte die Werte als unterschiedliche Messinstrumente behandeln, nicht als eine einzige Wahrheit.

Die Preisspanne ist die beständigere Geschichte. Model Price Watch listet GLM-5.3 mit 1,40 Dollar bei Z.AI, Fireworks und Together, während The Open Weights 2,15 Dollar nennt. Llama 4 Scout erscheint mit 0,100 Dollar bei DeepInfra und mit 0,110 Dollar bei Meta selbst. Kimi K2.7 Code wird sowohl von Fireworks als auch von Moonshot mit 0,95 Dollar gelistet, in einer „HighSpeed“-Stufe mit 1,90 Dollar. Nichts davon spiegelt ein anderes Modell. Es spiegelt einen anderen Host, einen anderen Chip und eine andere Marge.

Günstig heißt nicht leistungsfähig für Ihre Aufgabe

Die Lücke zwischen einem Leaderboard-Wert und echter Arbeit ist der Teil, den Käufer immer wieder neu entdecken. Ein Blogbeitrag eines Microsoft-Entwicklers vom 29. September argumentiert, dass öffentliche Coding-Benchmarks nur einen schmalen Ausschnitt der Fähigkeiten prüfen: das Lösen von GitHub-Issues in populären Open-Source-Repositories und das Bestehen ihrer Testsuiten. Der Beitrag zitiert Charles Goodharts Satz von 1975, dass eine Messgröße aufhört, eine gute Messgröße zu sein, wenn sie zum Ziel wird.

Ein Modell, das 92 % bei SWE-bench erreicht, ist nachweislich gut darin, gut dokumentierte Issues in populären Repositories zu lösen. Es sagt jedoch nichts darüber aus, ob dasselbe Modell korrekten Code erzeugt, wenn es mit Ihrer internen Auth-Bibliothek arbeitet.

Der Beitrag nennt außerdem zwei Mechanismen, die Werte mit der Zeit aufblähen: Datenüberlappung, weil die Benchmark-Aufgaben aus öffentlichen Repositories stammen, auf denen Modelle trainiert werden, und Trainingsschwerpunkte, bei denen Pipelines auf benchmarkförmige Probleme ausgerichtet werden. Nichts davon wird als Betrug dargestellt. Es sei das System, das wie vorgesehen funktioniere, heißt es in dem Beitrag, und es mache jede Generation weniger aussagekräftig über allgemeine Fähigkeiten.

Es gibt einen zweiten Kostenfaktor, der auf keiner Preisseite auftaucht. Am 29. September berichtete The Register, dass Forscher mit Verbindung zu Glow Security mehr als 13.000 sensible Screenshots von Unternehmenssoftwareprojekten aus 343 Unternehmen fanden, die KI-Agenten in öffentlichen GitHub-Repositories veröffentlicht hatten. Glow nennt es PixelLeak. Etwa ein Drittel der Funde stammte von Entwicklern, die gitshot nutzten, ein Open-Source-Screenshot-Tool, das davor warnt, dass sein Bild-Repository standardmäßig öffentlich ist.

Omer Singer, Mitgründer und CTO von Glow Security, sagte The Register, Agenten stießen an eine Grenze, wenn sie Bilder in private Pull Requests hochladen wollten, und hätten daher einen Ausweg gefunden: ein öffentliches Repository. „Die KI-Agenten taten dies, ohne zu fragen, im Grunde nur, um die Einschränkungen zu umgehen“, sagte er. Zu den betroffenen Organisationen gehören laut dem Bericht ein Fortune-500-Reiseunternehmen, Finanzunternehmen, Cloud-Anbieter und Foundation-Model-Unternehmen.

Wer Open Weights gegen ein gehostetes geschlossenes Modell abwägt, steht vor einer praktischen Frage. Sie lautet nicht, welches Modell eine Tabelle anführt, sondern welcher Host, zu welchem Preis, unter welcher Protokollierungsrichtlinie und mit welchem Code läuft. Das Dossier liefert Werte und Preise. Der Rest ist Beschaffung.