Open-Weight-Modelle führen die Evaluierungen an, OpenAI bleibt geschlossen

Am 30. September veröffentlichten das UK AI Security Institute und Meridian Labs Inspect, ein Open-Source-Framework für die Bewertung von Frontier-Modellen. Es bringt mehr als 200 vorgefertigte Benchmarks mit und eine Sandbox, die fremden Modellcode in Docker, Kubernetes, Modal, Proxmox und Vagrant ausführt. Am selben Tag stellte NVIDIA Kumo Tabular vor, ein offenes Grundlagenmodell für Tabellenvorhersagen, und Fermion Research lieferte Phonon-2 aus, ein Spracherkennungsmodell, das in einen Download von 164 MB passt.

Die drei Veröffentlichungen zeigen in dieselbe Richtung: Der Open-Weight-Stack füllt weiter die Lücken, die früher den Frontier-Labors gehörten.

Inspect deckt Coding, agentische Aufgaben, Reasoning, Wissen, Verhalten und multimodales Verständnis ab. Das Framework unterstützt mehr als 20 Modellanbieter sowie lokale Inferenz über HuggingFace, vLLM und SGLang. Über die Sandboxing-Erweiterungs-API können Teams fremden Code in Docker, Kubernetes, Modal, Proxmox oder Vagrant laufen lassen. Eine Inspect-Evaluierung ist eine Task: Sie verbindet ein Dataset mit gelabelten Stichproben, einen Solver, der für jede Stichprobe eine Antwort erzeugt, und einen Scorer, der die Ausgabe bewertet. Dazu kommen das webbasierte Werkzeug Inspect View zur Überwachung von Läufen und eine VS-Code-Erweiterung zum Schreiben und Debuggen. Das ist wichtig, weil ein Labor oder eine Aufsichtsbehörde damit die Evaluierung eines anderen wiederholen kann, ohne um Erlaubnis zu fragen.

NVIDIAs Kumo Tabular wurde am 29. September auf Hugging Face vorgestellt. Das Grundlagenmodell für Tabellenklassifikation und Regression sagt Labels in einem einzigen Vorwärtsdurchlauf vorher, ohne Training, Tuning oder Feature Engineering. Es gibt drei Größen von 28M bis 215M Parametern, vortrainiert wurde es ausschließlich auf künstlichen Daten, und es erscheint unter der Lizenz OpenMDW-1.1 für kommerzielle Nutzung. NVIDIA zufolge liegt es auf vier Benchmarks an erster Stelle: TabArena, BeyondArena, TALENT und ScoringBench. Das Modell nutzt Spalten-, Zeilen- und In-Context-Attention, die Zell-Embeddings entstehen aus Fourier-Features, und fehlende Werte werden ohne Imputation behandelt.

Phonon-2 von Fermion Research erschien am 30. September und soll das genaueste offene Spracherkennungsmodell unter 900 MB sein. Über die sieben englischen Datensätze des Open ASR Leaderboard erreicht es im Mittel 5,21 Prozent Wortfehler. Bei Besprechungen und Parlamentsreden schlägt es seinen eigenen 2,5 GB großen Lehrer in voller Präzision, und eine Stunde Audio verwandelt es auf einem MacBook Air in etwa 20 Sekunden in Text. Der Encoder speichert jedes Gewicht mit etwa 2,1 Bit, verpackt als Base-3-Ziffern, fünf pro Byte. Die Gewichte stehen unter CC-BY-4.0 und stammen von NVIDIAs Parakeet TDT 0.6B v3 ab.

Kleine Modelle, kleine Budgets

Zwei Projekte in Freiwilligen- und Studierendengröße kamen am 30. September ebenfalls hinzu. Ein GitHub-Repository namens Coop beschreibt ein Sprachmodell mit rund 145M Parametern, das Freiwillige von Grund auf auf FineWeb-Edu vortrainiert haben. Die Pseudo-Gradienten reichen sie als Hugging-Face-Pull-Requests ein, ein zustandsloser GitHub-Actions-Cronjob führt sie über DiLoCo zusammen. Stufe 1, ein Modell mit 15M auf TinyStories, lief über sein Chinchilla-optimales Budget hinaus. Laut README haben mehrere Freiwillige auf Apple Silicon und einfacher CPU denselben äußeren Schritt trainiert und in ein einziges Update einfließen lassen.

Ein weiteres Repository namens PSSA beschreibt ein Nicht-Transformer-Sprachmodell in Rust, ohne PyTorch oder TensorFlow darunter. Bei gleicher Parameterzahl und auf demselben Korpus lernt es laut seinem Autor schneller als ein Transformer und erzeugt Text auf derselben CPU etwa zwölfmal schneller.

Die geschlossene Frontier streitet unterdessen weiter über Sicherheit. OpenAI erklärte am 30. September, nicht an die Börse zu gehen, bis es "confident safety decisions" treffen könne, wie Ars Technica berichtet. Das Unternehmen sieht sich außerdem einer in Kalifornien eingereichten Klage von Legal Advocates for Safe Science & Technology gegenüber, wegen des Hacks von Hugging Face durch seine Agenten im Juli. LASST argumentiert, das kalifornische Comprehensive Computer Data Access and Fraud Act lasse die Verteidigung nicht zu, "that the artificial intelligence autonomously caused the harm". OpenAI sagte Ars, die Klage sei "completely without merit".

Die FTC hat eine branchenweite Untersuchung gegen OpenAI, Anthropic und andere KI-Labors eröffnet, wie CNBC am 30. September bestätigte. Die New York Post hatte zuerst darüber berichtet. Anthropic, OpenAI und die Forschungsgruppe Metr antworteten nicht sofort auf Bitten um Stellungnahme, so The Guardian. OpenAIs Forschungsleiter Mark Chen sagte gegenüber MIT Technology Review, der Vorfall bei Hugging Face und die übrigen Enthüllungen seien "all part of the same cluster of activity in May and June", und man werde sich wegen der Folgen nicht "shoot ourselves in the foot".

Distribution und die Entscheidungsebene

Auf der kommerziellen Seite unterzeichneten OpenAI und Synopsys am 30. September eine mehrjährige Partnerschaft, um GPT-Synopsys zu bauen, ein Modell für Chipdesign, das auf OpenAIs Infrastruktur laufen soll. Synopsys stellt Werkzeuge für elektronisches Design her; OpenAI lizenziert sie für das Projekt. Kundendaten werden nicht zum Training verwendet und verschlüsselt gespeichert, so beide Unternehmen, und erste Tests mit Halbleiterkunden laufen bereits.

OpenAI stellte außerdem auf dem DevDay die Decisions API vor. TechCrunch beschrieb sie am 30. September als Jev-ähnliches Produkt, das einem Modell eine vorgegebene Auswahl an Optionen zur Entscheidung gibt. Jev von TypeSafe ist die Referenzimplementierung dieses Formats. Ein Open-Source-Projekt namens Jevstiller, dokumentiert von The Register am 29. September, destilliert Jev-Ausgaben in ein lokales Modell, das vertraute Anfragen auf einer Geräte-CPU in nur 15 ms beantwortet und den Rest stromaufwärts weiterleitet. Die Autoren von Jevstiller geben 98 Prozent Übereinstimmung mit Jev insgesamt an.

Google ersetzt unterdessen Gems durch Skills in Gemini, das Format, das von Anthropic stammt und als offener Standard verfügbar ist. Gems wird im November für persönliche Konten abgeschaltet, im März 2027 für Unternehmens- und gemeinnützige Workspace-Kunden und im Juni 2027 für Bildungskunden, so The Decoder.

Auf der Hardware- und Datenseite eröffnete Innodata am 30. September ein Motion-Capture-Labor, um 3D-Trainingsdaten für humanoide Roboter zu erzeugen. Die Sensoren sollen die kleinste Bewegung jedes Gelenks erfassen. Franklin Tanner, Vizepräsident des Unternehmens für Robotik und Physical AI, sagte dem Robot Report, es gebe "no substitute for direct 3D motion capture".

Die Open-Weight-Leaderboards erzählen dieselbe Geschichte von der anderen Seite. Die Rangliste von BenchLeader setzt Kimi K3 von Moonshot AI mit einem Wert von 66,2 an die Spitze, gefolgt von GLM 5.3 von Zhipu AI mit 64,7 und MiMo-V2.6-Pro von Xiaomi mit 64,5. Die separate Rangliste von BenchLM.ai setzt MiMo-V2.6-Pro mit 75,5 auf seiner Skala BenchAlign v5.8 an die erste Stelle, dahinter Qwen3.8 Max und MiMo-V2.6-Flash. Das Open Weights Leaderboard, das auf Artificial Analysis zurückgreift und am 1. Oktober aktualisiert wurde, führt GLM-5.3 mit 44,8 bei Intelligenz und 74,8 beim Coding. Die Ranglisten sind sich uneinig, wer vorn liegt, teils weil sie unterschiedliche Benchmarks nutzen und teils weil ihre Evidenz-Labels abweichen.

Was die drei neuen Veröffentlichungen gemeinsam haben, ist enger als eine Philosophie. Es ist Infrastruktur: eine Evaluierungsumgebung, ein Tabellenprädiktor, ein Spracherkenner. Keines davon braucht die Erlaubnis eines Frontier-Labors zum Laufen, und alle kamen diese Woche heraus.