Offene Gewichte landen weiter: ein 164 MB großes Sprachmodell, ein Lauf mit 145M Freiwilligen und Chinas CUDA-Alternative

Nvidia stellte Kumo Tabular am 29. September auf Hugging Face. Der Beitrag ist auf den 29. September datiert und am 30. September im Blog erschienen. Darin heißt es, das Modell sage Labels für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus, ohne Training, ohne Tuning und ohne Feature Engineering. Es gibt drei Größen von 28M bis 215M Parametern. Trainiert wurde es ausschließlich auf künstlichen Daten, die Lizenz OpenMDW-1.1 erlaubt kommerzielle Nutzung. Nvidia zufolge steht es an erster Stelle auf TabArena, BeyondArena, TALENT und ScoringBench.

Das ist eine enge Aussage, und Nvidia formuliert sie eng: tabellarische Klassifikation und Regression, also die Tabellen mit Kundendaten, Transaktionen und Sensorprotokollen. Der Ansatz ist In-Context-Learning, angewandt auf Zeilen statt auf Text. Ein Modell, das auf Millionen von Tabellen vortrainiert wurde, liest eine beschriftete Tabelle als Kontext und liefert Klassenwahrscheinlichkeiten oder 999 Quantile für die Regression. Daraus folgen eine Punktvorhersage und eine Unsicherheitsschätzung.

Fermion Research veröffentlichte Phonon-2 am 30. September und bezeichnet es als das genaueste offene Spracherkennungsmodell unter 900 MB.

Der Download ist 164 MB groß, der Encoder speichert jedes Gewicht in etwa 2,1 Bit. Die Gewichte stehen unter CC-BY-4.0, der Lizenz von Nvidias Parakeet TDT 0.6B v3, von dem sie abstammen. Fermion meldet 5,21 % durchschnittliche Wortfehlerrate über die sieben englischen Sets des Open ASR Leaderboard. Jedes offene Modell mit besserem Ergebnis sei mindestens 5,8-mal so groß, heißt es dort. Auf einem MacBook Air verwandelt es eine Stunde Audio in etwa 20 Sekunden in Text. Das sind Herstellerangaben von einer Herstellerseite. Die Platzierung im Leaderboard ist also behauptet und nicht unabhängig bestätigt.

Freiwillige und ein zustandsloser Cron-Job

Ebenfalls am 30. September ging ein GitHub-Projekt namens Coop mit einem Stage-2-Lauf live: ein Decoder-only-Transformer mit rund 145M Parametern, von Grund auf vortrainiert auf FineWeb-Edu, komplett auf gespendeter Consumer-Hardware plus den kostenlosen Tarifen von Hugging Face und GitHub Actions. Es gibt keinen Server und keinen Daemon. Die Worker laden einen Checkpoint herunter, führen lokale AdamW-Schritte auf einem persönlichen Daten-Shard aus und reichen einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Dataset-Repo ein.

Ein zustandsloser GitHub-Actions-Cron-Job aggregiert bei jedem Tick: Er verwirft zu alte Einsendungen, beschneidet und gewichtet die übrigen per Kosinus-Gate, aggregiert sie, macht einen äußeren Nesterov-Schritt und lädt einen neuen Checkpoint hoch. Das Repo behauptet, ein Stage-1-Modell mit 15M Parametern sei in sechs Tagen auf TinyStories über sein Chinchilla-optimales Budget hinaus vortrainiert worden. Der Validierungsverlust sei dabei von 9,01 auf 2,8 gefallen. Das ist ein Mechanismusnachweis, kein konkurrenzfähiges Modell.

Chinas Vorstoß ist die größere strategische Geschichte. Deepseek veröffentlichte Open-Source-Programmierwerkzeuge für Huaweis Ascend-Chips. Grundlage ist ein Beitrag auf seinem WeChat-Kanal, über den The Decoder am 30. September und Reuters berichteten. Kernstück ist TileLang, eine ursprünglich an der Peking-Universität entwickelte Open-Source-Sprache, die laut Deepseek ein einfacheres Programmiermodell als CUDA bietet. Huawei habe die Arbeit "voll unterstützt", sagte Deepseek, und beide hätten einen Superknoten aus 128 Ascend-950-Chips optimiert.

Der Hintergrund ist Nvidias Entwickler-Graben: geschätzt vier Millionen CUDA-Entwickler. The Decoder zitiert außerdem SemiAnalysis, das OpenAIs Inferenzchip Jalapeno getestet und den CUDA-Graben als "potenziell tot" bezeichnet habe. Einschränkung: Getestet wurden nur relativ einfache Szenarien mit etwa 8.000 Eingabe-Tokens und 1.000 Ausgabe-Tokens. Huaweis Chips waren nicht Teil dieses Vergleichs.

Regulierer werden aktiv, während die Gewichte ausgeliefert werden

Nichts davon geschieht im luftleeren Raum. The Guardian berichtete am 30. September, die FTC führe eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere Labore durch. Geplant sei, Aussagen von Führungskräften zu erzwingen, unter anderem bei Metr. Die New York Post berichtete zuerst darüber. OpenAI hält unterdessen seine eigene Börsennotierung zurück: Ars Technica berichtete am 30. September, Sam Altman werde nicht an die Börse gehen, solange das Unternehmen nicht "selbstsichere Sicherheitsentscheidungen" treffen könne. LASST habe am selben Tag in Kalifornien Klage eingereicht.

Die oben genannten Veröffentlichungen offener Gewichte sind klein, billig und spezifisch. Das ist das Muster, das es zu beobachten gilt, nicht die Benchmark-Tabellen.