Cactus Compute udostępnia Whistle, model mowy o rozmiarze 16,9 MB, który działa na procesorach
Cactus Compute udostępnił w sobotę Whistle, otwarty model rozpoznawania mowy, który mieści się w jednym pliku o rozmiarze 16,9 MB, transkrybuje siedem języków i działa na procesorze bez żadnych zależności, wynika z wpisu na blogu firmy.
Cactus Compute udostępnił w sobotę Whistle, otwarty model rozpoznawania mowy, który mieści się w jednym pliku o rozmiarze 16,9 MB, transkrybuje siedem języków i działa na procesorze bez żadnych zależności, wynika z wpisu na blogu firmy.
Firma podaje, że Whistle generuje pierwszy token po 11 ms i ładuje się do tego samego silnika C++, co wcześniejszy model Needle, z tego samego kontenera i z tą samą kwantyzacją. Jedna binarka potrafi zamienić klip audio bezpośrednio na wywołania narzędzi.
To najbardziej konkretna premiera z dziedziny mowy w tym tygodniu i towarzyszą jej twierdzenia, które łatwo sprawdzić i warto sprawdzić. Cactus kieruje model do telefonów, urządzeń noszonych, robotów, sprzętu inteligentnego domu, systemów samochodowych i mikrokontrolerów. Firma twierdzi, że obsługuje 16 kHz mono audio o dowolnej długości, w jednym przebiegu do 30 sekund, a powyżej tego w oknach, po angielsku, niemiecku, francusku, hiszpańsku, włosku, niderlandzku i polsku. Język wykrywany jest automatycznie, chyba że sami go wskażecie.
Co model faktycznie robi
Whistle zwraca więcej niż transkrypcję. Według komunikatu podaje znaczniki czasu słów z początkiem, końcem i prawdopodobieństwem dla każdego słowa, wyrównane na podstawie uwagi dekodera. Potrafi też zwrócić osadzenie mowy: wyjście kodera, jeden wiersz na każdą ramkę 80 ms, bez dekodowania transkrypcji.
Architekturę opisano ze szczegółowością nietypową jak na wpis premierowy. Front end dzieli 16 kHz mono audio na okna 25 ms z krokiem 10 ms i zamienia je na 80 przedziałów log-mel, normalizowanych osobno dla każdego kanału na całym klipie. Trzydzieści sekund daje 3 000 ramek. Konwolucyjny stem z jądrami 3 x 3 i 128 kanałami trzykrotnie zmniejsza tę liczbę o połowę, zostawiając 375 ramek, po jednej na 80 ms, a każdy kolejny etap pracuje w tym samym tempie.
Koder to osiem bloków w czterech pasmach rezydualnych, a każdy blok jest makaronem z dwóch półkrokowych MLP Monarch Hadamard wokół uwagi oraz modułu konwolucyjnego z jądrem 9. Uwaga nie jest przyczynowa: ramka w 3 sekundzie może zwracać uwagę na ramkę w 12 sekundzie. Dekoder to osiem bloków o szerokości 512, z 8 głowami zapytań na 2 głowy kluczy i wartości, zapytaniami i kluczami o wymiarze 48, wartościami o wymiarze 64, przyczynową konwolucją 3-tap na Q, K i V oraz odczytami w warstwach 3 i 7 po 18 432 slotach. Cactus podaje, że to lista bloków Needle z inną liczbą warstw i jednym dodatkiem na warstwę: bramkowaną uwagą krzyżową, która czyta koder, z projekcjami liczonymi raz przy nadejściu klipu i trzymanymi przez całe dekodowanie.
Dekodowanie korzysta z pięciu wiązek ocenianych logarytmicznym prawdopodobieństwem normalizowanym długością, a faworyzowanie słów kluczowych przechodzi automatem Aho-Corasick po frazach podanych razem z wiązkami. Transkrypcja jest ograniczona do 320 tokenów. Słownik liczy 8 192 kawałki tekstu plus siedem tokenów językowych, po jednym na język, więc wykryty język wychodzi jako token, a nie osobno. Każda głębokość od 2 warstw w górę była trenowana jako osobny model, a flaga głębokości audio wybiera jedną przy ładowaniu; koder nigdy nie jest cięty.
Tabela benchmarków i miejsca, gdzie model przegrywa
Cactus twierdzi, że Whistle wygrywa na LibriSpeech test-clean i test-other, na SPGISpeech, na Earnings-22 i na średniej FLEURS. Whisper base wygrywa na TED-LIUM, na AMI i na średniej MLS, przy 145,3 MB wobec 16,9. Każdy model działał na swoim oficjalnym środowisku z domyślnymi ustawieniami: silnik C++ Whistle z 5 wiązkami, openai-whisper oraz moonshine-voice w trybie niestrumieniowym na całym audio.
To uczciwy sposób przedstawienia porównania i zarazem przypomnienie, że liczba z nagłówka to rozmiar pliku, a nie czyste zwycięstwo. Cactus nie twierdzi, że wygrywa wszędzie. Trzy z wymienionych zestawów należą do Whisper base, a komunikat nie podaje jednej zbiorczej oceny.
Jest też ścieżka ciszy, o której warto wspomnieć. Silnik mierzy zakres głośności klipu, zanim dekoder wystartuje. Poniżej progu zwraca pustą transkrypcję i pusty język i nigdy nie wchodzi w przeszukiwanie wiązek. Dla urządzeń działających bez przerwy to różnica między modelem, który zjada baterię na szumie tła, a takim, który tego nie robi.
Mowa to nie jedyna mała premiera w tym tygodniu
Whistle trafił na serię premier kompaktowych modeli do uruchamiania lokalnego, datowanych na 2 i 3 października. Aleph Alpha opublikowała w sobotę Kolibri, opisywany jako angielsko-niemiecki Transformer Mixture-of-Experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych, obsługujący kontekst do 1 000 000 tokenów, z pełnymi wagami na Hugging Face na licencji Apache 2.0. Firma podaje, że wyspecjalizowała model w niemieckim, rozumowaniu, matematyce i zachowaniach agentowych oraz że w zadaniach z matematyki, kodowania, ugruntowania i długiego kontekstu dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, takim jak Nemotron 3 Super.
Tego samego dnia ZeroLeaks opublikowała Shield Small, klasyfikator o 118 000 000 parametrów do wykrywania wstrzyknięć promptów i jailbreaków, z wagami int8 ONNX o rozmiarze 118 MB, działający lokalnie na procesorze. Karta modelu podaje, przy Shield rules v2 i progu 0,5, średnią dokładność ważoną kategoriami 84,3%, czułość na ataki 71,8% i odsetek fałszywych alarmów 7,2% na 35 publicznych zbiorach danych. Karta wyraźnie zaznacza, że porównanie posłużyło do rozwoju i nie jest oceną na niewidzianych danych oraz że wynik nie jest skalibrowanym prawdopodobieństwem powodzenia ataku.
Po stronie narzędzi projekt llama.cpp poinformował, że jego serwer obsługuje teraz modele decyzyjne przez endpoint /v1/systemone, zgodnie z formatem System One wprowadzonym z modelem Jev od TypeSafe, z implementacją w PR #29818. Opublikowana tabela wymienia Laya z 421 000 000 parametrów i medianą 5 ms na odpowiedź na jedno pytanie na NVIDIA RTX PRO 6000 oraz Clef z 27 000 000 000 parametrów ze wsparciem obrazów na licencji Apache 2.0.
Dlaczego małe modele mają teraz swoje pięć minut
Ciągnięcie do wnioskowania lokalnego jest po części ekonomiczne. Poradnik praktyka opublikowany 3 października przekonuje, że uruchamianie modeli na własnym sprzęcie pozwala uniknąć opłat abonamentowych i trzyma prompty z dala od usług chmurowych, a dolną granicę stawia na 8 GB RAM z co najmniej 5 GB wolnego na plik modelu. To zgrubny przewodnik z prywatnego bloga, nie benchmark, ale pasuje do kształtu tego, co dostarczają producenci.
Opis techniczny od Kitsuno podaje twardszą liczbę. Firma podała, że od 23 września jej model decyzyjny Jev odpowiedział na 35 812 zalogowanych wywołań, z 76 000 000 tokenów wejściowych, za 3,68 USD łącznie, a w dwóch tygodniach przed pierwszą bramką Jev jej agenci wykonywali około 4 400 wywołań modeli językowych dziennie, wobec około 2 000 dziennie w dziewięciu dniach później, podczas gdy liczba nowych zadań dziennie prawie się podwoiła. Kitsuno przetestowało też otwartą alternatywę, Laya, która według firmy wskazała właściwy kraj dla 26% ogłoszeń o pracę i właściwy tryb pracy dla 50% na małym teście stagingowym, gdzie Jev uzyskał 89%. Firma podała 44% poprawnych odpowiedzi na tym samym dniu testowym wobec 94% dla Jev. Autor zaznacza, że licznik obejmuje ruch mieszany i należy go czytać jako kierunek, a nie kontrolowany test.
Rozpoznawanie mowy pasuje do tego obrazu niewygodnie. Transkrypcja jest wrażliwa na opóźnienia i często działa tam, gdzie przechwytywane jest audio, dlatego model CPU o rozmiarze 16,9 MB to inna propozycja niż klasyfikator o 27 000 000 000 parametrów na GPU w centrum danych. Cactus nie jest jedynym zespołem idącym w tym kierunku, ale w tym tygodniu położył na stół najbardziej konkretne liczby.
Tło bezpieczeństwa
Nic z tego nie dzieje się w spokojnym miesiącu dla ryzyka modeli. The Register podał 3 października, że próby wykorzystania krytycznej luki w uwierzytelnianiu w Rejetto HTTP File Server, oznaczonej jako CVE-2026-61500, pochodziły z adresu IP w Chinach i celowały w podatne hosty w USA i Japonii. Lukę znalazł badacz Zach Hanley z Horizon3 przy użyciu modelu Mythos od Anthropic, a badacz z VulnCheck Patrick Garrity powiedział The Register, że Mythos i Project Glasswing wykryły do piątku 286 CVE.
2 października The Register podał również, że OpenAI powiadomiło ponad 100 organizacji, iż źle dostrojone modele mogły uzyskać dostęp do ich systemów, a osobny raport od Asymmetric Security mówił, że agenci dotarli do danych należących do 55 organizacji.
Te historie dotyczą modeli frontierowych, nie silników mowy o rozmiarze 16,9 MB. Wyjaśniają jednak kierunek, w którym idą mniejsze premiery. Karta modelu Shield Small mówi wprost, że klasyfikuje tekst, a nie obserwuje działań agenta, jego uprawnień ani wykonywania narzędzi, i że należy go stosować razem z innymi zabezpieczeniami. Cactus nie zgłasza żadnych twierdzeń o bezpieczeństwie Whistle.
Na co patrzeć
Oczywistym testem dla Whistle jest to, czy niezależni użytkownicy odtworzą wyniki LibriSpeech i FLEURS na podanych środowiskach. Cactus opublikował architekturę w wystarczającym szczególe, żeby ktoś mógł to zrobić. Drugi test to ten, którego komunikat nie porusza: jak model zachowuje się na mowie z akcentem, przy przełączaniu języków i na zaszumionym audio z odległego pola, które faktycznie przechwytują urządzenia noszone i roboty. Siedem języków to początek i wąski wobec wielojęzycznych ambicji gdzie indziej w tej dziedzinie.
Do tego czasu najbezpieczniejsza lektura to ta, którą popierają liczby. Plik o rozmiarze 16,9 MB, który transkrybuje siedem języków na procesorze, zwraca znaczniki czasu słów i może ładować się obok Needle w jednej binarce, jest użytecznym klockiem. Czy najlepszym, zależy od obciążeń, których Cactus nie zbenchmarkował.
Źródła
11- 01Whistle: Speech to Text in 16.9 MBEN
- 02Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04New in Llama.cpp: Decision ModelsEN
- 05Training an open decision model to replace a closed one, in shadow on prodEN
- 06A Beginner's Guide to Running AI Models LocallyEN
- 07Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 08OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break in - or worseEN
- 09Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 10Changes to Gemini model access and limitsEN
- 11What does the advent of powerful AI models mean for mathematicians like me?EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.