Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Offene Gewichte ohne Ende: ein 164-MB-Sprachmodell, ein Lauf mit 145 Millionen Parametern und Chinas CUDA-Alternative

Nvidia hat Kumo Tabular veröffentlicht, ein offenes Grundlagenmodell für Tabellenprognosen, in einem Hugging-Face-Beitrag vom 29. September. Einen Tag später brachte Fermion Research das 164 MB große Sprachmodell Phonon-2 heraus. Beide erscheinen, während die FTC eine branchenweite Untersuchung der KI-Labore eröffnet und OpenAI seinen eigenen Börsengang zurückhält.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 30. September 20263 Min. LesezeitQuellen 6
Offene Gewichte ohne Ende: ein 164-MB-Sprachmodell, ein Lauf mit 145 Millionen Parametern und Chinas CUDA-Alternative

Nvidia stellte Kumo Tabular am 29. September auf Hugging Face. Der Beitrag ist auf den 29. September datiert und erschien am 30. September im Blog. Darin heißt es, das Modell sage Labels für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus, ohne Training, ohne Feintuning und ohne Feature Engineering. Es gibt drei Größen von 28 Millionen bis 215 Millionen Parametern, vortrainiert wurde ausschließlich auf künstlichen Daten, und es steht unter der Lizenz OpenMDW-1.1 zur kommerziellen Nutzung. Das Unternehmen nennt Platz eins auf TabArena, BeyondArena, TALENT und ScoringBench.

Das ist eine enge Behauptung, und Nvidia formuliert sie auch eng: tabellarische Klassifikation und Regression, also die Tabellen mit Kundendaten, Transaktionen und Sensorprotokollen. Der Ansatz ist In-Context-Learning, angewandt auf Zeilen statt auf Text. Ein Modell, das auf Millionen Tabellen vortrainiert wurde, liest eine beschriftete Tabelle als Kontext und liefert Klassenwahrscheinlichkeiten oder 999 Quantile für die Regression. Daraus folgen eine Punktschätzung und eine Unsicherheitsangabe.

Fermion Research veröffentlichte Phonon-2 am 30. September und nennt es das genaueste offene Spracherkennungsmodell unter 900 MB.

Der Download ist 164 MB groß, der Encoder speichert jedes Gewicht in etwa 2,1 Bit, und die Gewichte stehen unter CC-BY-4.0, der Lizenz von Nvidias Parakeet TDT 0.6B v3, von dem sie abstammen. Fermion meldet 5,21 % durchschnittliche Wortfehlerrate über die sieben englischen Datensätze des Open ASR Leaderboard und schreibt, jedes offene Modell mit besserem Wert sei mindestens 5,8-mal so groß. Auf einem MacBook Air verwandelt es eine Stunde Audio in etwa 20 Sekunden in Text. Das sind Herstellerangaben von einer Herstellerseite, die Platzierung im Leaderboard ist also behauptet und nicht unabhängig bestätigt.

Freiwillige und ein zustandsloser Cron-Job

Ebenfalls am 30. September ging ein GitHub-Projekt namens Coop mit einem Lauf der Stufe 2 online: ein reiner Decoder-Transformer mit rund 145 Millionen Parametern, von Grund auf vortrainiert auf FineWeb-Edu, ausschließlich auf gespendeter Consumer-Hardware plus den kostenlosen Kontingenten von Hugging Face und GitHub Actions. Es gibt keinen Server und keinen Daemon. Die Worker laden einen Checkpoint herunter, führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus und reichen einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Dataset-Repository ein.

Ein zustandsloser Cron-Job von GitHub Actions fasst jeden Durchlauf zusammen: Er verwirft zu alte Einsendungen, beschneidet und gewichtet die übrigen per Kosinus-Fenster, aggregiert sie, macht einen äußeren Nesterov-Schritt und lädt einen neuen Checkpoint hoch. Das Repository behauptet, ein Modell der Stufe 1 mit 15 Millionen Parametern sei in sechs Tagen auf TinyStories über sein Chinchilla-optimales Budget hinaus vortrainiert worden, mit einem Validierungsverlust, der von 9,01 auf 2,8 fiel. Das ist ein Nachweis des Mechanismus, kein konkurrenzfähiges Modell.

Chinas Vorstoß ist die größere strategische Geschichte. Deepseek veröffentlichte Open-Source-Programmierwerkzeuge für Huaweis Ascend-Chips, nach einem Beitrag auf seinem WeChat-Kanal, über den The Decoder am 30. September und Reuters berichteten. Kernstück ist TileLang, eine Open-Source-Sprache, die ursprünglich an der Peking-Universität entstand und laut Deepseek ein einfacheres Programmiermodell als CUDA bietet. Huawei habe die Arbeit "voll unterstützt", sagte Deepseek, und beide hätten einen Superknoten aus 128 Ascend-950-Chips optimiert.

Der Hintergrund ist Nvidias Entwickler-Graben: geschätzt vier Millionen CUDA-Entwickler. The Decoder zitiert außerdem SemiAnalysis, das OpenAIs Inferenzchip Jalapeno getestet und den CUDA-Graben als "potenziell tot" bezeichnet hat. Zugleich schränkt SemiAnalysis ein, getestet worden seien nur relativ einfache Szenarien mit etwa 8.000 Eingabe- und 1.000 Ausgabe-Tokens. Huaweis Chips waren nicht Teil dieses Vergleichs.

Die Regulierer werden aktiv, während die Gewichte ausgeliefert werden

Nichts davon geschieht im luftleeren Raum. The Guardian berichtete am 30. September, die FTC führe eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere Labore und plane, Aussagen von Führungskräften zu erzwingen, unter anderem bei Metr. Die New York Post hatte zuerst darüber berichtet. OpenAI hält unterdessen seinen eigenen Börsengang zurück: Ars Technica meldete am 30. September, Sam Altman werde nicht an die Börse gehen, bevor das Unternehmen "sichere Sicherheitsentscheidungen treffen" könne, und LASST habe am selben Tag in Kalifornien Klage eingereicht.

Die oben genannten Veröffentlichungen mit offenen Gewichten sind klein, billig und spezifisch. Dieses Muster lohnt die Beobachtung, nicht die Benchmark-Tabellen.

Kommentare 0

Quellen

6
  1. 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  5. 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  6. 06OpenAI delays IPO over AI safety concernsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.