Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Whistle packt Spracherkennung in eine 16,9-MB-Datei für Telefone und Roboter

Cactus Compute hat am 3. Oktober Whistle veröffentlicht, ein Spracherkennungsmodell, das als einzelne 16,9-MB-Datei ausgeliefert wird und ohne Abhängigkeiten auf einer CPU läuft. Es transkribiert sieben Sprachen. Den ersten Token erreicht es nach Angaben des Unternehmens in 11 ms.

KI & ModelleErklärtLena BrandtVeröffentlicht: 3. Oktober 20263 Min. LesezeitQuellen 8
Whistle packt Spracherkennung in eine 16,9-MB-Datei für Telefone und Roboter

Cactus Compute hat Whistle am 3. Oktober veröffentlicht und beschreibt es als Modell für Mobiltelefone, Wearables, Roboter, Smart-Home-Geräte, Fahrzeugsysteme und Mikrocontroller. Laut dem Blogbeitrag des Unternehmens ist das gesamte Modell eine einzige 16,9-MB-Datei, die in dieselbe C++-Engine wie das frühere Modell Needle geladen wird, aus demselben Container und mit derselben Quantisierung.

Warum die Größe zählt: Whisper base, der Vergleich, den Cactus heranzieht, umfasst 145,3 MB. Das ist rund 8,6-mal so viel. Wer eine Sprachschnittstelle auf einem Gerät mit wenig Speicher oder ohne verlässliche Verbindung baut, für den entscheidet dieser Unterschied, ob das Modell überhaupt passt. Offen bleibt bei Whistle die Genauigkeit bei unruhigem Audio aus dem Alltag: Cactus meldet Erfolge bei einigen Benchmarks und Niederlagen bei anderen, eine unabhängige Nachprüfung ist bislang nicht öffentlich.

Nach den Zahlen, die Cactus veröffentlicht hat, führt Whistle bei LibriSpeech test-clean und test-other, bei SPGISpeech, bei Earnings-22 und beim FLEURS-Durchschnitt. Whisper base führt bei TED-LIUM, bei AMI und beim MLS-Durchschnitt. Jedes Modell lief in seiner offiziellen Laufzeitumgebung mit Standardeinstellungen, die Engine von Whistle mit fünf Beams, heißt es in dem Beitrag.

Die Sprachliste umfasst Englisch, Deutsch, Französisch, Spanisch, Italienisch, Niederländisch und Polnisch. Das Modell erkennt die Sprache, sofern man sie nicht vorgibt, und gibt die erkannte Sprache als Token aus einem Vokabular von 8.192 Textstücken plus sieben Sprach-Token aus. Es verarbeitet Mono-Audio mit 16 kHz beliebiger Länge, in einem Durchgang bis 30 Sekunden, darüber hinaus in Fenstern.

Was sonst noch bei On-Device-Sprache dazukam

Whistle ist nicht das einzige kleine Modell, das diese Woche erschienen ist. Shield von ZeroLeaks ist ein Klassifikator mit 118 Mio. Parametern für Prompt-Injection und Jailbreak-Erkennung, der lokal auf einer CPU mit 118 MB int8-ONNX-Gewichten läuft. Das Release S15e trägt das Datum 2. Oktober. Es transkribiert keine Sprache, besetzt aber dieselbe Nische: ein kleines Modell, das Text prüft, bevor ein Agent darauf reagiert, offline. Die Modellkarte nennt 84,3 % mittlere kategoriebalancierte Genauigkeit und 71,8 % Attack-Recall mit Shield rules v2, gemessen auf 35 öffentlichen Datensätzen, die die Entwicklung geprägt haben, nicht auf einem ungesehenen Test.

Auch Aleph Alpha hat diese Woche Gewichte veröffentlicht. Kolibri, erschienen am 3. Oktober, ist ein englisch-deutscher Mixture-of-Experts-Transformer mit 78.000.000.000 Gesamtparametern und 3.000.000.000 aktiven, einem Kontextfenster von bis zu 1.000.000 Token und einer Apache-2.0-Lizenz. Das Unternehmen sagt, es erreiche Modelle mit bis zu viermal so vielen aktiven Parametern und nennt dabei Nemotron 3 Super. Es ist ein Textmodell, kein Sprachmodell, und Aleph Alpha positioniert es für öffentliche Verwaltung, Industrie und Luftfahrt.

Den klarsten Hinweis darauf, wohin die Sprachwerkzeuge steuern, liefert ein viel kleineres Projekt. Am 3. Oktober veröffentlichte Kitsuno einen technischen Bericht darüber, wie ein offenes Entscheidungsmodell, Laya, in der Produktion ein geschlossenes Modell, Jev, vertreten soll. Laya liest Text und gibt typisierte Entscheidungen mit Wahrscheinlichkeiten zurück. Kitsuno berichtet, in einem Staging-Test habe es bei 26 % der Stellenanzeigen das richtige Land gefunden und bei 50 % den richtigen Arbeitsmodus, gegenüber 89 % bei Jev.

Das Unternehmen erklärt, es habe mit keiner der Antworten von Jev trainiert, und verweist auf eine Klausel im Kundenvertrag, die die Nutzung von Ausgaben zum Training eines Konkurrenzprodukts untersagt.

Dieses Detail passt zu einer breiteren Verschiebung. Die Modelle, die jetzt erscheinen, sind eng zugeschnitten, klein und dafür gedacht, auf Hardware zu laufen, die man selbst besitzt, sei es ein Telefon, ein Roboter oder ein Server in Frankfurt. Whistles 11 ms bis zum ersten Token und die 16,9-MB-Datei sind das Verkaufsargument. Ob die Genauigkeit außerhalb eines Benchmark-Aufbaus hält, bleibt die offene Frage.

Cactus hat nicht gesagt, wann Whistle in einem ausgelieferten Produkt auftauchen wird, und kein Gerätehersteller hat es bisher getan. Die Gewichte und die Engine sind vorerst das Release.

Kommentare 0

Quellen

8
  1. 01Whistle: Speech to Text in 16.9 MBEN
  2. 02Shield: A 118M model for detecting prompt injections and jailbreaksEN
  3. 03Kolibri: A Sovereign Open-Weight ModelEN
  4. 04Training an open decision model to replace a closed one, in shadow on prodEN
  5. 05New in Llama.cpp: Decision ModelsEN
  6. 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  7. 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  8. 08A Beginner's Guide to Running AI Models LocallyEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.