Offene Gewichte ohne Ende: ein 164-MB-Sprachmodell, ein Lauf mit 145 Millionen Parametern und Chinas CUDA-Alternative
Nvidia hat Kumo Tabular veröffentlicht, ein offenes Grundlagenmodell für Tabellenprognosen, in einem Hugging-Face-Beitrag vom 29. September. Einen Tag später brachte Fermion Research das 164 MB große Sprachmodell Phonon-2 heraus. Beide erscheinen, während die FTC eine branchenweite Untersuchung der KI-Labore eröffnet und OpenAI seinen eigenen Börsengang zurückhält.

Nvidia stellte Kumo Tabular am 29. September auf Hugging Face. Der Beitrag ist auf den 29. September datiert und erschien am 30. September im Blog. Darin heißt es, das Modell sage Labels für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus, ohne Training, ohne Feintuning und ohne Feature Engineering. Es gibt drei Größen von 28 Millionen bis 215 Millionen Parametern, vortrainiert wurde ausschließlich auf künstlichen Daten, und es steht unter der Lizenz OpenMDW-1.1 zur kommerziellen Nutzung. Das Unternehmen nennt Platz eins auf TabArena, BeyondArena, TALENT und ScoringBench.
Das ist eine enge Behauptung, und Nvidia formuliert sie auch eng: tabellarische Klassifikation und Regression, also die Tabellen mit Kundendaten, Transaktionen und Sensorprotokollen. Der Ansatz ist In-Context-Learning, angewandt auf Zeilen statt auf Text. Ein Modell, das auf Millionen Tabellen vortrainiert wurde, liest eine beschriftete Tabelle als Kontext und liefert Klassenwahrscheinlichkeiten oder 999 Quantile für die Regression. Daraus folgen eine Punktschätzung und eine Unsicherheitsangabe.
Fermion Research veröffentlichte Phonon-2 am 30. September und nennt es das genaueste offene Spracherkennungsmodell unter 900 MB.
Der Download ist 164 MB groß, der Encoder speichert jedes Gewicht in etwa 2,1 Bit, und die Gewichte stehen unter CC-BY-4.0, der Lizenz von Nvidias Parakeet TDT 0.6B v3, von dem sie abstammen. Fermion meldet 5,21 % durchschnittliche Wortfehlerrate über die sieben englischen Datensätze des Open ASR Leaderboard und schreibt, jedes offene Modell mit besserem Wert sei mindestens 5,8-mal so groß. Auf einem MacBook Air verwandelt es eine Stunde Audio in etwa 20 Sekunden in Text. Das sind Herstellerangaben von einer Herstellerseite, die Platzierung im Leaderboard ist also behauptet und nicht unabhängig bestätigt.
Freiwillige und ein zustandsloser Cron-Job
Ebenfalls am 30. September ging ein GitHub-Projekt namens Coop mit einem Lauf der Stufe 2 online: ein reiner Decoder-Transformer mit rund 145 Millionen Parametern, von Grund auf vortrainiert auf FineWeb-Edu, ausschließlich auf gespendeter Consumer-Hardware plus den kostenlosen Kontingenten von Hugging Face und GitHub Actions. Es gibt keinen Server und keinen Daemon. Die Worker laden einen Checkpoint herunter, führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus und reichen einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Dataset-Repository ein.
Ein zustandsloser Cron-Job von GitHub Actions fasst jeden Durchlauf zusammen: Er verwirft zu alte Einsendungen, beschneidet und gewichtet die übrigen per Kosinus-Fenster, aggregiert sie, macht einen äußeren Nesterov-Schritt und lädt einen neuen Checkpoint hoch. Das Repository behauptet, ein Modell der Stufe 1 mit 15 Millionen Parametern sei in sechs Tagen auf TinyStories über sein Chinchilla-optimales Budget hinaus vortrainiert worden, mit einem Validierungsverlust, der von 9,01 auf 2,8 fiel. Das ist ein Nachweis des Mechanismus, kein konkurrenzfähiges Modell.
Chinas Vorstoß ist die größere strategische Geschichte. Deepseek veröffentlichte Open-Source-Programmierwerkzeuge für Huaweis Ascend-Chips, nach einem Beitrag auf seinem WeChat-Kanal, über den The Decoder am 30. September und Reuters berichteten. Kernstück ist TileLang, eine Open-Source-Sprache, die ursprünglich an der Peking-Universität entstand und laut Deepseek ein einfacheres Programmiermodell als CUDA bietet. Huawei habe die Arbeit "voll unterstützt", sagte Deepseek, und beide hätten einen Superknoten aus 128 Ascend-950-Chips optimiert.
Der Hintergrund ist Nvidias Entwickler-Graben: geschätzt vier Millionen CUDA-Entwickler. The Decoder zitiert außerdem SemiAnalysis, das OpenAIs Inferenzchip Jalapeno getestet und den CUDA-Graben als "potenziell tot" bezeichnet hat. Zugleich schränkt SemiAnalysis ein, getestet worden seien nur relativ einfache Szenarien mit etwa 8.000 Eingabe- und 1.000 Ausgabe-Tokens. Huaweis Chips waren nicht Teil dieses Vergleichs.
Die Regulierer werden aktiv, während die Gewichte ausgeliefert werden
Nichts davon geschieht im luftleeren Raum. The Guardian berichtete am 30. September, die FTC führe eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere Labore und plane, Aussagen von Führungskräften zu erzwingen, unter anderem bei Metr. Die New York Post hatte zuerst darüber berichtet. OpenAI hält unterdessen seinen eigenen Börsengang zurück: Ars Technica meldete am 30. September, Sam Altman werde nicht an die Börse gehen, bevor das Unternehmen "sichere Sicherheitsentscheidungen treffen" könne, und LASST habe am selben Tag in Kalifornien Klage eingereicht.
Die oben genannten Veröffentlichungen mit offenen Gewichten sind klein, billig und spezifisch. Dieses Muster lohnt die Beobachtung, nicht die Benchmark-Tabellen.
Quellen
6- 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Coop: A small language model pretrained by volunteersEN
- 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 06OpenAI delays IPO over AI safety concernsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.