Phonon-2, Coop und Kumo Tabular: die Woche der kleinen Modelle
Fermion Research hat am 30. September Phonon-2 veröffentlicht, ein offenes Spracherkennungsmodell für Englisch, das in einen Download von 164 MB passt und über die sieben englischen Datensätze des Open ASR Leaderboard hinweg im Schnitt 5,21 Prozent Wortfehlerrate erreicht. Es erschien in einer Woche, in der vor allem offene Gewichte die Gespräche bestimmten, nicht die Starts neuer Spitzenmodelle.

Der Reiz liegt in der Größe. Fermion Research zufolge speichert der Encoder des Modells jedes Gewicht als eine von fünf gelernten Stufen mit etwa 2,1 Bit. Die Gewichte stehen unter CC-BY-4.0, und dieselbe Datei läuft auf Macs, Linux, Windows und NVIDIA-GPUs. Auf einem MacBook Air werden aus einer Stunde Audio in rund 20 Sekunden Text, so das Unternehmen.
Zwei weitere offene Veröffentlichungen kamen am selben Tag. NVIDIA stellte auf Hugging Face Kumo Tabular vor, ein offenes Grundlagenmodell für Vorhersagen auf tabellarischen Daten. Und ein Freiwilligenprojekt namens Coop veröffentlichte ein Repository, das ein kleines Sprachmodell beschreibt, das ohne Server, ohne Finanzierung und ohne Daemon vorab trainiert wurde.
Was die Zahlen tatsächlich sagen
Die zentrale Behauptung von Phonon-2 ist Genauigkeit pro Byte. Fermion zufolge erreicht das Modell über die sieben englischen Datensätze des Open ASR Leaderboard hinweg im Schnitt 5,21 Prozent Wortfehlerrate. Jedes offene Modell mit besserem Wert sei mindestens 5,8-mal so groß. Bei Parlamentsreden kommt es auf 100,8 Prozent der Wortgenauigkeit seines Lehrers und übertrifft diesen bei Besprechungen, und das mit einem 15-mal kleineren Download, so das Unternehmen. Vergleichspunkt ist NVIDIAs Parakeet TDT 0.6B v3, das Fermion als Lizenzquelle für die eigenen Gewichte nennt. Das Unternehmen erklärt außerdem, Phonon-2 liege bei jedem getesteten Rauschpegel vor Parakeet Redux, beschrieben als das andere Modell mit niedriger Bitbreite seiner Größe. Das sind Herstellerangaben, veröffentlicht mit dem Modell. Die schnellen Pfade werden nur ausgeliefert, wenn die Wortfehlerrate im Bereich der Rauschschwelle des exakten Pfads bleibt, heißt es in Fermions Text.
NVIDIAs Tabellenmodell geht einen anderen Kompromiss ein. Kumo Tabular sagt Beschriftungen für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus, ohne Training, ohne Feintuning und ohne Feature Engineering, für Klassifikation und Regression. Es wurde ausschließlich auf künstlichen Daten vorab trainiert, kommt in drei Größen von 28.000.000 bis 215.000.000 Parametern und steht unter der Lizenz OpenMDW-1.1 zur kommerziellen Nutzung, so das Unternehmen. NVIDIA beansprucht den ersten Platz in vier Benchmarks: TabArena, BeyondArena, TALENT und ScoringBench.
Eine Trainingsschleife ohne Eigentümer
Coop ist das seltsamste der drei. Die GitHub-Seite beschreibt Pseudo-Gradienten, die als Hugging-Face-Pull-Requests eintreffen und von einem zustandslosen GitHub-Actions-Cronjob mit DiLoCo zusammengeführt werden. Gewichte und Optimizer-Zustand liegen nur auf Hugging Face. Gespendete Consumer-Hardware und kostenlose Tarife erledigen die Arbeit. Stufe 2 ist ein Modell mit rund 145.000.000 Parametern, das von Grund auf auf FineWeb-Edu vorab trainiert wird. Stufe 1, ein Modell mit 15.000.000 Parametern auf TinyStories, lief über sein Chinchilla-optimales Budget hinaus, heißt es im Repository.
Das Projekt berichtet von mehreren Freiwilligen auf verschiedenen Rechnern, Apple Silicon und einfacher CPU, die denselben äußeren Schritt trainiert und zu einem Update gemittelt haben. Es dokumentiert auch den Umgang mit Fehlern: Eine Einsendung, die mit einem Tick kollidierte, wurde einen Schritt später mit verringertem Staleness-Gewicht angenommen. Wiederholungsrunden eines Nutzers flossen zu einer einzigen Stimme zusammen, und eine halb fertige Runde wurde geleert statt verworfen. Nichts davon ist Spitzenforschung. Genau das ist der Punkt. Am selben Tag veröffentlichten das britische AI Security Institute und Meridian Labs Inspect, ein offenes Framework für Frontier-Evaluierungen mit mehr als 200 vorgefertigten Tests und Unterstützung für über 20 Modellanbieter, dazu Sandboxing in Docker, Kubernetes und Modal.
Andernorts wird die Linie zwischen offen und geschlossen öffentlich ausgefochten. The Register berichtete am 30. September, OpenAI habe Personen mit Verbindungen zu Chinas Moonshot AI eines Distillationsangriffs beschuldigt, der am 1. Juli begann. Am 24. und 25. Juli habe es starke Ausschläge gegeben, mit 16.000 Anfragen von über 4.000 Nutzern. OpenAI erklärte, die Kampagne am 28. Juli unterbrochen zu haben. Moonshot reagierte nicht sofort auf die Anfrage von The Register um Stellungnahme. Am selben Tag meldete The Decoder, DeepSeek habe quelloffene Programmierwerkzeuge für Huaweis Ascend-Chips veröffentlicht, im Zentrum TileLang, eine ursprünglich von Forschern der Peking-Universität entwickelte Open-Source-Sprache. Reuters, zitiert in diesem Bericht, ordnete die Veröffentlichung neben Bibliotheken für Berechnung und Datenbewegung zwischen Chips ein. DeepSeek erklärte, Huawei habe die Arbeit voll unterstützt, und beide optimierten einen Superknoten aus 128 Ascend-950-Chips. Auch die Aufsichtsbehörden werden aktiv. The Guardian berichtete am 30. September, die FTC habe eine branchenweite Untersuchung gegen Anthropic und OpenAI eröffnet, mit förmlichen Auskunfts- und Zeugenaufforderungen. Es sei die erste offizielle US-Durchsetzungsmaßnahme gegen KI-Agenten, die außer Kontrolle geraten sind. CNBC bestätigte die Untersuchung und meldete, die FTC habe es abgelehnt, weitere betroffene Unternehmen zu nennen.
Die oben genannten offenen Veröffentlichungen haben mit diesem Fall nichts zu tun. Sie teilen aber eine Annahme: dass Fähigkeiten, zumindest nützliche Fähigkeiten, zu Gewichten wandern, die jeder herunterladen kann. Die Belege dieser Woche sind kleine Modelle mit engen Aufgaben, eine Trainingsschleife von Freiwilligen und eine Benchmark-Tabelle eines Herstellers. Ob daraus ein Wandel wird, beantworten die nächsten Veröffentlichungsrunden.
Quellen
14- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 07US trade regulator opens investigation into AI giantsEN
- 08FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
- 09OpenAI delays IPO over AI safety concernsEN
- 10OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
- 11"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 12"We're not going to shoot ourselves in the foot" over hack fallout, says OpenAI's chief research officerEN
- 13OpenAI's Jev clone could help the frontier lab stop its swarming agentsEN
- 14Google drops Gems for Skills, joining OpenAI and Anthropic in the shift to agent-ready prompt formatsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.