Offene Gewichte im Kompaktformat: Phonon-2, Kumo Tabular und ein von Freiwilligen trainiertes Modell
Fermion Research hat am 30. September Phonon-2 veröffentlicht, ein offenes Spracherkennungsmodell, das in einen Download von 164 MB passt und auf dem Open ASR Leaderboard über sieben englische Datensätze eine durchschnittliche Wortfehlerrate von 5,21 Prozent erreicht. Wenige Stunden später kamen Nvidias Kumo Tabular und ein von Freiwilligen trainiertes Sprachmodell mit 145.000.000 Parametern dazu.

Drei Veröffentlichungen mit offenen Gewichten fielen auf einen einzigen Tag, und keine von ihnen setzte auf Größe. Fermion Research brachte Phonon-2 am 30. September heraus, ein englisches Spracherkennungsmodell, das jedes Encoder-Gewicht als eine von fünf gelernten Stufen mit etwa 2,1 Bit speichert, in einer Datei von 164 MB. Das Unternehmen erklärt, es erreiche seinen Lehrer in voller Präzision mit 2,5 GB Datensatz für Datensatz, schlage ihn bei Besprechungen und Parlamentsreden und transkribiere eine Stunde Audio in rund 20 Sekunden auf einem MacBook Air. Die Gewichte liegen auf Hugging Face unter CC-BY-4.0, der Lizenz von Nvidias Parakeet TDT 0.6B v3 mit 600.000.000 Parametern, von dem sie abstammen.
Dieses letzte Detail zählt. Das Rennen der kleinen offenen Modelle ist vor allem ein Rennen um Lehrer und Lizenzen.
Fermion behauptet, jedes offene Modell, das auf den sieben englischen Datensätzen des Open ASR Leaderboard besser abschneidet, sei mindestens 5,8-mal so groß. Dieser Vorsprung halte auch unter Störgeräuschen, wo es Parakeet Redux vorausbleibe, das andere Modell mit niedriger Bitbreite seiner Größe. Die Geschwindigkeitsangaben haben Bedingungen: ein Clip nach dem anderen, Log-Mel eingeschlossen, Modellladen ausgenommen. Jeder schnelle Pfad wird nur ausgeliefert, wenn seine Wortfehlerrate unter einem gepaarten Bootstrap über Clips mit 4.000 Resamples im Rauschen des exakten Pfads bleibt.
Kumo Tabular greift den Lebenszyklus von Baummodellen an
Nvidia veröffentlichte Kumo Tabular am 29. September, ein offenes Grundlagenmodell für tabellarische Klassifikation und Regression, das neue Zeilen in einem einzigen Vorwärtsdurchlauf vorhersagt, ohne Training, Abstimmung oder Feature Engineering. Es gibt drei Größen von 28.000.000 bis 215.000.000 Parametern, steht unter der Lizenz OpenMDW-1.1 zur kommerziellen Nutzung und belegt laut dem Hugging-Face-Beitrag Platz eins in vier Benchmarks: TabArena, BeyondArena, TALENT und ScoringBench.
Die Architektur lehnt sich an TabICL und TabPFN an, mit Attention über Spalten, Zeilen und Kontext. Das Unternehmen erklärt, es sei ausschließlich auf künstlichen Daten vortrainiert worden, was das Datenschutzproblem des Trainings auf Kundentabellen umgeht. Ob es gradientenverstärkte Bäume im Produktivbetrieb verdrängt, ist eine andere Frage als der Platz im Benchmark, und Nvidias Beitrag beantwortet sie nicht.
Ein Sprachmodell, trainiert auf GitHub Actions und gespendeter Hardware
Das Projekt Coop, ein GitHub-Repository, das am 30. September online ging, versucht etwas Seltsameres: ein kleines Sprachmodell ohne Server und ohne Finanzierung vorzutrainieren. Stufe 2 ist ein reiner Decoder-Transformer mit rund 145.000.000 Parametern, der von Grund auf auf FineWeb-Edu trainiert wird. Die Rechner laden einen Checkpoint von Hugging Face herunter, führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus und reichen einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Dataset-Repository ein. Ein zustandsloser GitHub-Actions-Cronjob, alle fünf Minuten geplant, fasst die Einsendungen mit einem getrimmten Mittel oder geometrischen Median zusammen und macht einen äußeren Nesterov-Schritt.
Stufe 1 ist der Beweis: ein Modell mit 15.000.000 Parametern, das Freiwillige in sechs Tagen über sein Chinchilla-optimales Budget hinaus trainierten, wobei der Validierungsverlust von 9,01 auf 2,8 fiel. Die Gewichte bleiben verfügbar. Die eigene Dokumentation des Projekts ist ungewöhnlich offen bei der Bewertung. Sie merkt an, dass eine einzelne Zahl des Validierungsverlusts nichts aussagt, weil äußere Schritte sie ebenso oft nach oben wie nach unten bewegen, und dass die Richtung eine Eigenschaft der Reihe ist, nicht eines Punktes.
Zwei weitere offene Veröffentlichungen rundeten das Fenster ab. Das UK AI Security Institute und Meridian Labs veröffentlichten Inspect, ein Bewertungsframework mit über 200 vorgefertigten Evaluierungen und Sandboxing für nicht vertrauenswürdigen Modellcode in Docker, Kubernetes und Modal. Und Sparticle62ops veröffentlichten PSSA, ein Nicht-Transformer-Sprachmodell in Rust ohne ML-Framework darunter. Nach eigener Angabe lernt es bei gleicher Parameterzahl schneller als ein Transformer und erzeugt auf derselben CPU etwa zwölfmal schneller Text.
Offene Gewichte sind nicht die ganze Geschichte. Ebenfalls am 30. September eröffnete die FTC eine branchenweite Untersuchung gegen Anthropic, OpenAI und die Forschungsgruppe Metr, die erste offizielle US-Durchsetzungsmaßnahme zu außer Kontrolle geratenen KI-Agenten, wie The Guardian berichtete. OpenAI verschiebt unterdessen seinen Börsengang und hält eine Modellveröffentlichung aus Sicherheitsgründen zurück, so Ars Technica. Der Kontrast ist kaum zu übersehen: Die Modelle, die ohne Reibung erscheinen, sind die kleinen, und die Unternehmen unter Beobachtung sind die mit den höchsten Bewertungen.
Quellen
7- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.