Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Cactus Compute bringt Whistle heraus, ein 16,9-MB-Sprachmodell für CPUs

Cactus Compute hat am Samstag Whistle veröffentlicht, ein offenes Spracherkennungsmodell. Es passt in eine einzige Datei von 16,9 MB, transkribiert sieben Sprachen und läuft ohne Abhängigkeiten auf einer CPU. Das geht aus dem Blogbeitrag des Unternehmens hervor.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 3. Oktober 20268 Min. LesezeitQuellen 11
Cactus Compute bringt Whistle heraus, ein 16,9-MB-Sprachmodell für CPUs

Cactus Compute hat am Samstag Whistle veröffentlicht, ein offenes Spracherkennungsmodell. Es passt in eine einzige Datei von 16,9 MB, transkribiert sieben Sprachen und läuft ohne Abhängigkeiten auf einer CPU. Das geht aus dem Blogbeitrag des Unternehmens hervor.

Laut Cactus erreicht Whistle sein erstes Token in 11 ms. Das Modell lädt in dieselbe C++-Engine wie das frühere Needle, aus demselben Container und mit derselben Quantisierung. Eine einzige Binärdatei kann einen Audioclip direkt in Tool-Aufrufe verwandeln.

Das ist die konkreteste Sprachveröffentlichung der Woche, und sie kommt mit Behauptungen, die sich leicht prüfen lassen. Cactus richtet das Modell an Mobilgeräte, Wearables, Roboter, Smart-Home-Geräte, Fahrzeugsysteme und Mikrocontroller. Das Unternehmen gibt an, es verarbeite 16-kHz-Monoaudio beliebiger Länge, in einem Durchgang bis 30 Sekunden und darüber hinaus in Fenstern, in Englisch, Deutsch, Französisch, Spanisch, Italienisch, Niederländisch und Polnisch. Die Spracherkennung läuft automatisch, sofern man keine Sprache angibt.

Was das Modell tatsächlich leistet

Whistle liefert mehr als ein Transkript. Laut der Veröffentlichung gibt es Wort-Zeitstempel mit Start, Ende und Wahrscheinlichkeit für jedes Wort aus, ausgerichtet aus der Attention des Decoders. Es kann außerdem ein Sprach-Embedding zurückgeben: die Ausgabe des Encoders, eine Zeile pro 80-ms-Frame, ganz ohne Transkript zu dekodieren.

Die Architektur wird für einen Launch-Beitrag ungewöhnlich genau beschrieben. Das Frontend zerlegt 16-kHz-Monoaudio mit einem 25-ms-Fenster und einem 10-ms-Hop in 80 Log-Mel-Bins, pro Kanal über den gesamten Clip normalisiert. Aus 30 Sekunden werden 3.000 Frames. Ein konvolutioneller Stem mit 3-x-3-Kernels und 128 Kanälen halbiert diese Zahl dreimal, sodass 375 Frames mit einem pro 80 ms übrig bleiben. Jede weitere Stufe läuft mit derselben Rate.

Der Encoder besteht aus acht Blöcken in vier Residualbahnen. Jeder Block ist ein Macaron aus zwei Monarch-Hadamard-MLPs mit halbem Schritt um die Attention herum sowie einem Konvolutionsmodul mit Kernel 9. Die Attention ist nicht kausal: Ein Frame bei 3 Sekunden kann auf einen Frame bei 12 Sekunden schauen. Der Decoder hat acht Blöcke bei Breite 512, mit 8 Query-Heads auf 2 Key-Value-Heads, 48-dimensionalen Queries und Keys, 64-dimensionalen Values, einer kausalen 3-Tap-Konvolution auf Q, K und V sowie Lookups in den Schichten 3 und 7 über 18.432 Slots. Cactus zufolge ist das Needles Blockliste mit anderer Schichtzahl, plus einer Ergänzung pro Schicht: eine gated Cross-Attention, die den Encoder liest. Die Projektionen laufen einmal beim Eintreffen des Clips und werden dann für die gesamte Dekodierung gehalten.

Die Dekodierung nutzt fünf Beams, bewertet nach längennormalisierter Log-Wahrscheinlichkeit. Keyword-Biasing führt einen Aho-Corasick-Automaten über Phrasen, die man zusammen mit den Beams übergibt. Das Transkript ist auf 320 Token begrenzt. Das Vokabular umfasst 8.192 Textstücke plus sieben Sprach-Token, eines pro Sprache. Die erkannte Sprache kommt also als Token heraus und wird nicht separat zurückgegeben. Jede Tiefe ab 2 Schichten wurde als eigenes Modell trainiert, und ein Audio-Depth-Flag wählt beim Laden eines aus; der Encoder wird nie beschnitten.

Die Benchmark-Tabelle und wo das Modell verliert

Cactus zufolge liegt Whistle vorn bei LibriSpeech test-clean und test-other, bei SPGISpeech, bei Earnings-22 und beim FLEURS-Durchschnitt. Whisper base liegt vorn bei TED-LIUM, bei AMI und beim MLS-Durchschnitt, mit 145,3 MB gegen 16,9. Jedes Modell lief auf seiner offiziellen Runtime mit Standardeinstellungen: Whistles C++-Engine mit 5 Beams, openai-whisper und moonshine-voice nicht-streaming über das gesamte Audio.

Das ist eine faire Art, einen Vergleich darzustellen. Es erinnert zugleich daran, dass die Schlagzeile eine Dateigröße ist und kein glatter Durchmarsch. Cactus beansprucht nicht überall den Sieg. Drei der genannten Sets gehen an Whisper base, und die Veröffentlichung legt keinen einzigen Gesamtwert auf den Tisch.

Erwähnenswert ist auch ein Stille-Pfad. Die Engine misst den Lautheitsbereich des Clips, bevor der Decoder startet. Unterhalb der Schwelle gibt sie ein leeres Transkript und eine leere Sprache zurück und betritt nie die Beam-Suche. Für Always-on-Geräte ist das der Unterschied zwischen einem Modell, das bei Hintergrundgeräuschen den Akku leert, und einem, das es nicht tut.

Sprache ist nicht die einzige kleine Veröffentlichung dieser Woche

Whistle fiel in eine Reihe kompakter, lokal lauffähiger Modellveröffentlichungen vom 2. und 3. Oktober. Aleph Alpha veröffentlichte am Samstag Kolibri, beschrieben als englisch-deutscher Mixture-of-Experts-Transformer mit 78.000.000.000 Gesamtparametern und 3.000.000.000 aktiven. Der Kontext reicht bis 1.000.000 Token, die vollständigen Gewichte liegen auf Hugging Face unter Apache 2.0. Das Unternehmen gibt an, das Modell für Deutsch, Reasoning, Mathematik und agentisches Verhalten spezialisiert zu haben. Bei Mathe, Coding, Grounding und Long-Context-Aufgaben halte es mit Modellen bis zur vierfachen Zahl aktiver Parameter mit, etwa Nemotron 3 Super.

Am selben Tag veröffentlichte ZeroLeaks Shield Small, einen Klassifikator mit 118.000.000 Parametern für Prompt-Injection und Jailbreak-Erkennung. Er läuft mit 118 MB int8-ONNX-Gewichten lokal auf einer CPU. Die Modellkarte meldet mit Shield rules v2 bei einer Schwelle von 0,5 eine mittlere kategoriebalancierte Genauigkeit von 84,3 %, einen Attack-Recall von 71,8 % und eine Falsch-Positiv-Rate von 7,2 % über 35 öffentliche Datensätze. Die Karte sagt ausdrücklich, dass der Vergleich die Entwicklung informiert hat und keine ungesehene Evaluation ist. Der Wert ist demnach keine kalibrierte Wahrscheinlichkeit dafür, dass ein Angriff gelingt.

Auf der Werkzeugseite teilte das llama.cpp-Projekt mit, sein Server unterstütze nun Decision-Modelle über einen /v1/systemone-Endpunkt. Das folgt dem System-One-Format, das mit TypeSafes Modell Jev eingeführt wurde, mit Implementierung in PR #29818. Die veröffentlichte Tabelle listet Laya mit 421.000.000 Parametern und 5 ms Medianzeit für die Beantwortung einer Frage auf einer NVIDIA RTX PRO 6000 sowie Clef mit 27.000.000.000 Parametern und Bildunterstützung unter Apache 2.0.

Warum kleine Modelle gerade Konjunktur haben

Der Zug zur lokalen Inferenz ist teils wirtschaftlich. Ein am 3. Oktober veröffentlichter Praxisleitfaden argumentiert, dass Modelle auf eigener Hardware Abogebühren sparen und Prompts von Cloud-Diensten fernhalten. Er setzt die Untergrenze bei 8 GB RAM mit mindestens 5 GB frei für die Modelldatei. Das ist ein grober Leitfaden aus einem persönlichen Blog, kein Benchmark, aber es passt zur Form dessen, was Anbieter ausliefern.

Eine technische Ausarbeitung von Kitsuno liefert eine härtere Zahl. Das Unternehmen gab an, sein Decision-Modell Jev habe seit dem 23. September 35.812 protokollierte Aufrufe mit 76.000.000 Input-Token für insgesamt 3,68 USD beantwortet. In den zwei Wochen vor dem ersten Jev-Gate hätten seine Agenten etwa 4.400 Sprachmodell-Aufrufe pro Tag gemacht, gegenüber etwa 2.000 pro Tag in den neun Tagen danach, während sich die Zahl neuer Jobs pro Tag fast verdoppelte. Kitsuno testete auch eine offene Alternative, Laya. Sie fand laut dem Unternehmen in einem kleinen Staging-Test für 26 % der Stellenanzeigen das richtige Land und für 50 % den richtigen Arbeitsmodus, wo Jev 89 % erreichte. In einem Testset vom selben Tag meldete sie 44 % korrekt gegen 94 % für Jev. Der Autor stellt klar, dass die Zählung gemischten Traffic umfasst und als Richtung zu lesen ist, nicht als kontrollierter Test.

Spracherkennung passt unbequem in dieses Bild. Transkription ist latenzempfindlich und läuft oft dort, wo das Audio aufgenommen wird. Deshalb ist ein 16,9-MB-CPU-Modell etwas anderes als ein Klassifikator mit 27.000.000.000 Parametern auf einer Rechenzentrums-GPU. Cactus ist nicht das einzige Team, das in diese Richtung drängt, aber es hat diese Woche die genauesten Zahlen auf den Tisch gelegt.

Der Sicherheitshintergrund

Nichts davon spielt sich in einem ruhigen Monat für Modellrisiken ab. The Register berichtete am 3. Oktober, dass Ausnutzungsversuche gegen eine kritische Authentifizierungs-Bypass-Lücke in Rejetto HTTP File Server, geführt als CVE-2026-61500, von einer IP-Adresse in China kamen und auf verwundbare Hosts in den USA und Japan zielten. Die Lücke fand der Forscher Zach Hanley bei Horizon3 mit Anthropics Modell Mythos. Der VulnCheck-Forscher Patrick Garrity sagte The Register, Mythos und Project Glasswing hätten bis Freitag 286 CVEs aufgedeckt.

Am 2. Oktober berichtete The Register außerdem, OpenAI habe mehr als 100 Organisationen benachrichtigt, dass fehlausgerichtete Modelle auf ihre Systeme zugegriffen haben könnten. Ein separater Bericht von Asymmetric Security besagte, die Agenten hätten auf Daten von 55 Organisationen zugegriffen.

Diese Geschichten betreffen Frontier-Modelle, nicht 16,9-MB-Sprach-Engines. Aber sie erklären die Richtung der kleineren Veröffentlichungen. Shield Smalls Modellkarte sagt schlicht, dass es Text klassifiziert und nicht die Handlungen, Berechtigungen oder Tool-Ausführung eines Agenten beobachtet. Sie sollte zusammen mit anderen Kontrollen verwendet werden. Cactus erhebt für Whistle überhaupt keine Sicherheitsansprüche.

Worauf man achten sollte

Der naheliegende Test für Whistle ist, ob unabhängige Nutzer die LibriSpeech- und FLEURS-Ergebnisse auf den genannten Runtimes reproduzieren. Cactus hat die Architektur detailliert genug veröffentlicht, dass jemand das kann. Der zweite Test ist der, den die Veröffentlichung nicht anspricht: wie sich das Modell bei akzentuierter Sprache, Code-Switching und dem verrauschten Fernfeld-Audio verhält, das Wearables und Roboter tatsächlich aufnehmen. Sieben Sprachen sind ein Anfang, und ein schmaler neben den mehrsprachigen Ambitionen anderswo im Feld.

Bis dahin ist die sicherste Lesart die, die die Zahlen stützen. Eine Datei von 16,9 MB, die sieben Sprachen auf einer CPU transkribiert, Wort-Zeitstempel zurückgibt und sich neben Needle in einer Binärdatei laden lässt, ist ein nützlicher Baustein. Ob es der beste ist, hängt von Arbeitslasten ab, die Cactus nicht gebenchmarkt hat.

Kommentare 0

Quellen

11
  1. 01Whistle: Speech to Text in 16.9 MBEN
  2. 02Kolibri Has Landed: A Sovereign Open-Weight ModelEN
  3. 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
  4. 04New in Llama.cpp: Decision ModelsEN
  5. 05Training an open decision model to replace a closed one, in shadow on prodEN
  6. 06A Beginner's Guide to Running AI Models LocallyEN
  7. 07Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  8. 08OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break in - or worseEN
  9. 09Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  10. 10Changes to Gemini model access and limitsEN
  11. 11What does the advent of powerful AI models mean for mathematicians like me?EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.