Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Whistle mieści rozpoznawanie mowy w pliku 16,9 MB na telefony i roboty

Cactus Compute opublikował 3 października Whistle, model rozpoznawania mowy, który mieści się w jednym pliku 16,9 MB i działa na procesorze CPU bez dodatkowych zależności, transkrybując siedem języków. Firma podaje, że pierwszy token pojawia się po 11 ms.

AI i modeleWyjaśnienieMarta ZielińskaOpublikowano: 3 października 20263 min czytaniaŹródła 8
Whistle mieści rozpoznawanie mowy w pliku 16,9 MB na telefony i roboty

Cactus Compute opublikował Whistle 3 października. Firma opisuje go jako model przeznaczony do telefonów, urządzeń noszonych, robotów, sprzętu inteligentnego domu, systemów samochodowych i mikrokontrolerów. Według wpisu na blogu cały model to jeden plik 16,9 MB, który ładuje się do tego samego silnika C++ co wcześniejszy model Needle, z tego samego kontenera i przy tej samej kwantyzacji.

Skąd znaczenie rozmiaru: Whisper base, punkt odniesienia, który wybiera Cactus, ma 145,3 MB. To około 8,6 razy więcej. Kto buduje interfejs głosowy na urządzeniu z małą pamięcią albo bez pewnego połączenia, ten wie, że ta różnica decyduje, czy model w ogóle się zmieści. Czego Whistle nie rozstrzyga, to dokładność na zaszumionym, prawdziwym dźwięku: Cactus raportuje wygrane na jednych testach i przegrane na innych, a niezależnego powtórzenia wyników nie ma.

Z liczb opublikowanych przez Cactus wynika, że Whistle prowadzi na LibriSpeech test-clean i test-other, na SPGISpeech, na Earnings-22 i w średniej FLEURS. Whisper base prowadzi na TED-LIUM, na AMI i w średniej MLS. Każdy model działał w swoim oficjalnym środowisku z domyślnymi ustawieniami, a silnik Whistle z pięcioma wiązkami, jak podaje wpis.

Lista języków to angielski, niemiecki, francuski, hiszpański, włoski, niderlandzki i polski. Model sam wykrywa język, chyba że podasz go wprost, i zapisuje wykryty język jako token w słowniku 8 192 fragmentów tekstu oraz siedmiu tokenów językowych. Obsługuje monofoniczny dźwięk 16 kHz o dowolnej długości, jedno przejście do 30 sekund, a dłuższy materiał dzieli na okna.

Co jeszcze pojawiło się w mowie na urządzeniu

Whistle to nie jedyny mały model z tego tygodnia. Shield od ZeroLeaks to klasyfikator z 118 000 000 parametrów do wykrywania wstrzyknięć promptów i jailbreaków, który działa lokalnie na procesorze CPU z wagami int8 ONNX o rozmiarze 118 MB. Jego wydanie S15e jest datowane na 2 października. Mowy nie transkrybuje, ale zajmuje to samo miejsce: mały model, który sprawdza tekst, zanim agent na nim zadziała, offline. Karta modelu podaje 84,3% średniej dokładności wyrównanej na kategoriach i 71,8% wykrywalności ataków z regułami Shield v2, mierzone na 35 publicznych zbiorach danych, które posłużyły do rozwoju, a nie na niewidzianym teście.

Aleph Alpha też opublikował w tym tygodniu wagi. Kolibri, wydany 3 października, to angielsko-niemiecki transformer typu mixture-of-experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych, oknem kontekstu do 1 000 000 tokenów i licencją Apache 2.0. Firma twierdzi, że dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, wymieniając Nemotron 3 Super. To model tekstowy, nie mowy, a Aleph Alpha kieruje go do administracji publicznej, przemysłu i lotnictwa.

Najwyraźniejszy sygnał, dokąd zmierza oprogramowanie do mowy, pochodzi z dużo mniejszego projektu. 3 października Kitsuno opublikował tekst inżynierski o trenowaniu otwartego modelu decyzyjnego, Laya, żeby zastąpił w produkcji zamknięty model Jev. Laya czyta tekst i zwraca typowane decyzje z prawdopodobieństwami. Kitsuno podaje, że w teście na środowisku staging wskazał właściwy kraj dla 26% ogłoszeń o pracę i właściwy tryb pracy dla 50%, wobec 89% dla Jev.

Firma twierdzi, że nie trenowała na żadnej z odpowiedzi Jev, powołując się na klauzulę umowy z klientem, która zabrania używania wyników do trenowania konkurencyjnego produktu.

Ten szczegół wpisuje się w szerszą zmianę. Modele wypuszczane teraz są wąskie, małe i mają działać na sprzęcie, który masz, czy to telefon, robot, czy serwer we Frankfurcie. Liczba 11 ms do pierwszego tokenu i plik 16,9 MB to argument sprzedażowy Whistle. Otwarte pozostaje pytanie, czy dokładność utrzyma się poza stanowiskiem testowym.

Cactus nie podał, kiedy Whistle trafi do sprzedawanego produktu, podobnie żaden producent urządzeń. Na razie wydaniem są wagi i silnik.

Komentarze 0

Źródła

8
  1. 01Whistle: Speech to Text in 16.9 MBEN
  2. 02Shield: A 118M model for detecting prompt injections and jailbreaksEN
  3. 03Kolibri: A Sovereign Open-Weight ModelEN
  4. 04Training an open decision model to replace a closed one, in shadow on prodEN
  5. 05New in Llama.cpp: Decision ModelsEN
  6. 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  7. 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  8. 08A Beginner's Guide to Running AI Models LocallyEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.