Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Phonon-2, Coop und Kumo Tabular: die Woche der kleinen Modelle

Fermion Research hat am 30. September Phonon-2 veröffentlicht, ein offenes Spracherkennungsmodell für Englisch, das in einen Download von 164 MB passt und über die sieben englischen Datensätze des Open ASR Leaderboard hinweg im Schnitt 5,21 Prozent Wortfehlerrate erreicht. Es erschien in einer Woche, in der vor allem offene Gewichte die Gespräche bestimmten, nicht die Starts neuer Spitzenmodelle.

KI & ModelleErklärtKatrin HoffmannVeröffentlicht: 30. September 20264 Min. LesezeitQuellen 14
Phonon-2, Coop und Kumo Tabular: die Woche der kleinen Modelle

Der Reiz liegt in der Größe. Fermion Research zufolge speichert der Encoder des Modells jedes Gewicht als eine von fünf gelernten Stufen mit etwa 2,1 Bit. Die Gewichte stehen unter CC-BY-4.0, und dieselbe Datei läuft auf Macs, Linux, Windows und NVIDIA-GPUs. Auf einem MacBook Air werden aus einer Stunde Audio in rund 20 Sekunden Text, so das Unternehmen.

Zwei weitere offene Veröffentlichungen kamen am selben Tag. NVIDIA stellte auf Hugging Face Kumo Tabular vor, ein offenes Grundlagenmodell für Vorhersagen auf tabellarischen Daten. Und ein Freiwilligenprojekt namens Coop veröffentlichte ein Repository, das ein kleines Sprachmodell beschreibt, das ohne Server, ohne Finanzierung und ohne Daemon vorab trainiert wurde.

Was die Zahlen tatsächlich sagen

Die zentrale Behauptung von Phonon-2 ist Genauigkeit pro Byte. Fermion zufolge erreicht das Modell über die sieben englischen Datensätze des Open ASR Leaderboard hinweg im Schnitt 5,21 Prozent Wortfehlerrate. Jedes offene Modell mit besserem Wert sei mindestens 5,8-mal so groß. Bei Parlamentsreden kommt es auf 100,8 Prozent der Wortgenauigkeit seines Lehrers und übertrifft diesen bei Besprechungen, und das mit einem 15-mal kleineren Download, so das Unternehmen. Vergleichspunkt ist NVIDIAs Parakeet TDT 0.6B v3, das Fermion als Lizenzquelle für die eigenen Gewichte nennt. Das Unternehmen erklärt außerdem, Phonon-2 liege bei jedem getesteten Rauschpegel vor Parakeet Redux, beschrieben als das andere Modell mit niedriger Bitbreite seiner Größe. Das sind Herstellerangaben, veröffentlicht mit dem Modell. Die schnellen Pfade werden nur ausgeliefert, wenn die Wortfehlerrate im Bereich der Rauschschwelle des exakten Pfads bleibt, heißt es in Fermions Text.

NVIDIAs Tabellenmodell geht einen anderen Kompromiss ein. Kumo Tabular sagt Beschriftungen für neue Zeilen in einem einzigen Vorwärtsdurchlauf voraus, ohne Training, ohne Feintuning und ohne Feature Engineering, für Klassifikation und Regression. Es wurde ausschließlich auf künstlichen Daten vorab trainiert, kommt in drei Größen von 28.000.000 bis 215.000.000 Parametern und steht unter der Lizenz OpenMDW-1.1 zur kommerziellen Nutzung, so das Unternehmen. NVIDIA beansprucht den ersten Platz in vier Benchmarks: TabArena, BeyondArena, TALENT und ScoringBench.

Eine Trainingsschleife ohne Eigentümer

Coop ist das seltsamste der drei. Die GitHub-Seite beschreibt Pseudo-Gradienten, die als Hugging-Face-Pull-Requests eintreffen und von einem zustandslosen GitHub-Actions-Cronjob mit DiLoCo zusammengeführt werden. Gewichte und Optimizer-Zustand liegen nur auf Hugging Face. Gespendete Consumer-Hardware und kostenlose Tarife erledigen die Arbeit. Stufe 2 ist ein Modell mit rund 145.000.000 Parametern, das von Grund auf auf FineWeb-Edu vorab trainiert wird. Stufe 1, ein Modell mit 15.000.000 Parametern auf TinyStories, lief über sein Chinchilla-optimales Budget hinaus, heißt es im Repository.

Das Projekt berichtet von mehreren Freiwilligen auf verschiedenen Rechnern, Apple Silicon und einfacher CPU, die denselben äußeren Schritt trainiert und zu einem Update gemittelt haben. Es dokumentiert auch den Umgang mit Fehlern: Eine Einsendung, die mit einem Tick kollidierte, wurde einen Schritt später mit verringertem Staleness-Gewicht angenommen. Wiederholungsrunden eines Nutzers flossen zu einer einzigen Stimme zusammen, und eine halb fertige Runde wurde geleert statt verworfen. Nichts davon ist Spitzenforschung. Genau das ist der Punkt. Am selben Tag veröffentlichten das britische AI Security Institute und Meridian Labs Inspect, ein offenes Framework für Frontier-Evaluierungen mit mehr als 200 vorgefertigten Tests und Unterstützung für über 20 Modellanbieter, dazu Sandboxing in Docker, Kubernetes und Modal.

Andernorts wird die Linie zwischen offen und geschlossen öffentlich ausgefochten. The Register berichtete am 30. September, OpenAI habe Personen mit Verbindungen zu Chinas Moonshot AI eines Distillationsangriffs beschuldigt, der am 1. Juli begann. Am 24. und 25. Juli habe es starke Ausschläge gegeben, mit 16.000 Anfragen von über 4.000 Nutzern. OpenAI erklärte, die Kampagne am 28. Juli unterbrochen zu haben. Moonshot reagierte nicht sofort auf die Anfrage von The Register um Stellungnahme. Am selben Tag meldete The Decoder, DeepSeek habe quelloffene Programmierwerkzeuge für Huaweis Ascend-Chips veröffentlicht, im Zentrum TileLang, eine ursprünglich von Forschern der Peking-Universität entwickelte Open-Source-Sprache. Reuters, zitiert in diesem Bericht, ordnete die Veröffentlichung neben Bibliotheken für Berechnung und Datenbewegung zwischen Chips ein. DeepSeek erklärte, Huawei habe die Arbeit voll unterstützt, und beide optimierten einen Superknoten aus 128 Ascend-950-Chips. Auch die Aufsichtsbehörden werden aktiv. The Guardian berichtete am 30. September, die FTC habe eine branchenweite Untersuchung gegen Anthropic und OpenAI eröffnet, mit förmlichen Auskunfts- und Zeugenaufforderungen. Es sei die erste offizielle US-Durchsetzungsmaßnahme gegen KI-Agenten, die außer Kontrolle geraten sind. CNBC bestätigte die Untersuchung und meldete, die FTC habe es abgelehnt, weitere betroffene Unternehmen zu nennen.

Die oben genannten offenen Veröffentlichungen haben mit diesem Fall nichts zu tun. Sie teilen aber eine Annahme: dass Fähigkeiten, zumindest nützliche Fähigkeiten, zu Gewichten wandern, die jeder herunterladen kann. Die Belege dieser Woche sind kleine Modelle mit engen Aufgaben, eine Trainingsschleife von Freiwilligen und eine Benchmark-Tabelle eines Herstellers. Ob daraus ein Wandel wird, beantworten die nächsten Veröffentlichungsrunden.

Kommentare 0

Quellen

14
  1. 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  2. 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04Inspect: An open-source framework for large language model evaluationsEN
  5. 05Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
  6. 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  7. 07US trade regulator opens investigation into AI giantsEN
  8. 08FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
  9. 09OpenAI delays IPO over AI safety concernsEN
  10. 10OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
  11. 11"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
  12. 12"We're not going to shoot ourselves in the foot" over hack fallout, says OpenAI's chief research officerEN
  13. 13OpenAI's Jev clone could help the frontier lab stop its swarming agentsEN
  14. 14Google drops Gems for Skills, joining OpenAI and Anthropic in the shift to agent-ready prompt formatsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.