Cactus Compute lancia Whistle, un modello vocale da 16,9 MB che gira su CPU
Cactus Compute ha rilasciato Whistle sabato, un modello di riconoscimento vocale aperto che sta in un singolo file da 16,9 MB. Trascrive sette lingue e gira su una CPU senza dipendenze, secondo quanto si legge nel post sul blog dell'azienda.
Cactus Compute ha rilasciato Whistle sabato, un modello di riconoscimento vocale aperto che sta in un singolo file da 16,9 MB. Trascrive sette lingue e gira su una CPU senza dipendenze, secondo quanto si legge nel post sul blog dell'azienda.
L'azienda dice che Whistle produce il primo token in 11 ms. Si carica nello stesso motore C++ del precedente modello Needle, dallo stesso container e con la stessa quantizzazione. Un solo binario può trasformare una clip audio direttamente in chiamate a strumenti.
È il rilascio vocale più concreto di questa settimana. Le sue dichiarazioni sono facili da verificare e vale la pena farlo. Cactus propone il modello per telefoni, dispositivi indossabili, robot, elettronica per la casa intelligente, sistemi automotive e microcontroller. L'azienda afferma che gestisce audio mono a 16 kHz di qualsiasi durata: una singola passata fino a 30 secondi, poi un'elaborazione a finestre. Le lingue sono inglese, tedesco, francese, spagnolo, italiano, olandese e polacco. Il rilevamento della lingua è automatico, a meno che non la si indichi esplicitamente.
Cosa fa davvero il modello
Whistle non restituisce solo una trascrizione. Secondo il comunicato, emette timestamp per parola con inizio, fine e probabilità per ciascuna parola, allineati dall'attenzione del decoder. Può anche restituire un embedding vocale: l'output dell'encoder, una riga ogni frame da 80 ms, senza decodificare alcuna trascrizione.
Il post di lancio descrive l'architettura con un dettaglio insolito. Il front end suddivide l'audio mono a 16 kHz in frame con finestra di 25 ms e passo di 10 ms, producendo 80 bin log-mel normalizzati per canale sull'intera clip. Trenta secondi diventano 3.000 frame. Uno stem convoluzionale con kernel 3 x 3 e 128 canali dimezza quel conteggio tre volte, lasciando 375 frame, uno ogni 80 ms. Ogni stadio successivo lavora alla stessa frequenza.
L'encoder è composto da otto blocchi in quattro corsie residuali. Ogni blocco è un macaron di due MLP Monarch Hadamard a mezzo passo attorno all'attenzione, più un modulo convoluzionale con kernel 9. L'attenzione non è causale: un frame a 3 secondi può guardare un frame a 12 secondi. Il decoder ha otto blocchi con larghezza 512, con 8 teste di query e 2 teste key-value. Ha query e key a 48 dimensioni, value a 64 dimensioni, una convoluzione causale a 3 tap su Q, K e V, e lookup ai layer 3 e 7 su 18.432 slot. Cactus dice che è la lista di blocchi di Needle con un numero diverso di layer, più un'aggiunta per layer. Questa aggiunta è un'attenzione incrociata con gating che legge l'encoder. Le sue proiezioni vengono calcolate una volta all'arrivo della clip e poi mantenute per tutta la decodifica.
La decodifica usa cinque beam valutati con log-probabilità normalizzata per lunghezza. Il keyword biasing percorre un automa di Aho-Corasick sulle frasi passate insieme ai beam. La trascrizione è limitata a 320 token. Il vocabolario conta 8.192 pezzi di testo più sette token di lingua, uno per lingua. La lingua rilevata esce quindi come token invece di essere restituita a parte. Ogni profondità da 2 layer in su è stata addestrata come modello a sé, e un flag di profondità audio ne seleziona uno al caricamento. L'encoder non viene mai tagliato.
La tabella dei benchmark, e dove perde
Cactus dice che Whistle è avanti su LibriSpeech test-clean e test-other, su SPGISpeech, su Earnings-22 e sulla media FLEURS. Whisper base è avanti su TED-LIUM, su AMI e sulla media MLS, con 145,3 MB contro 16,9. Ogni modello è stato eseguito sul runtime ufficiale con i valori predefiniti. Il motore C++ di Whistle girava a 5 beam, insieme a openai-whisper e moonshine-voice non-streaming sull'intero audio.
È un modo corretto di presentare un confronto. È anche un promemoria che il numero in evidenza è una dimensione di file, non una vittoria su tutta la linea. Cactus non rivendica il primato ovunque. Tre degli insiemi citati vanno a Whisper base, e il comunicato non mette in tabella alcun punteggio aggregato unico.
C'è anche un percorso per il silenzio che vale la pena segnalare. Il motore misura l'intervallo di loudness della clip prima che il decoder parta. Sotto la soglia restituisce una trascrizione vuota e una lingua vuota, e non entra mai nella ricerca a beam. Per i dispositivi sempre accesi, è la differenza tra un modello che consuma la batteria sul rumore di fondo e uno che non lo fa.
Il vocale non è l'unico rilascio piccolo di questa settimana
Whistle è arrivato in una serie di rilasci compatti ed eseguibili in locale datati 2 e 3 ottobre. Aleph Alpha ha pubblicato Kolibri sabato. Descrive il modello come un Transformer Mixture-of-Experts inglese-tedesco con 78 miliardi di parametri totali e 3 miliardi attivi, con contesti fino a 1 milione di token e pesi completi su Hugging Face sotto Apache 2.0. L'azienda dice di aver specializzato il modello per tedesco, ragionamento, matematica e comportamento agentico. Afferma che su compiti di matematica, coding, grounding e contesto lungo è alla pari con modelli fino a quattro volte il suo numero di parametri attivi, come Nemotron 3 Super.
Lo stesso giorno, ZeroLeaks ha pubblicato Shield Small. È un classificatore da 118 milioni di parametri per il rilevamento di prompt injection e jailbreak, con 118 MB di pesi ONNX int8 che gira in locale su una CPU. La sua model card riporta un'accuratezza media bilanciata per categoria dell'84,3%, un recall sugli attacchi del 71,8% e un tasso di falsi positivi del 7,2% su 35 dataset pubblici, con Shield rules v2 a una soglia di 0,5. La card precisa che il confronto ha orientato lo sviluppo e non è una valutazione su dati mai visti. Dice anche che il punteggio non è una probabilità calibrata che un attacco riesca.
Sul fronte degli strumenti, il progetto llama.cpp ha annunciato che il suo server ora supporta i decision model tramite un endpoint /v1/systemone. Segue il formato System One introdotto con il modello Jev di TypeSafe, con implementazione nella PR #29818. La tabella pubblicata elenca Laya con 421 milioni di parametri e 5 ms di tempo mediano per rispondere a una domanda su una NVIDIA RTX PRO 6000. Elenca anche Clef con 27 miliardi di parametri e supporto immagini sotto Apache 2.0.
Perché i modelli piccoli hanno il loro momento
La spinta verso l'inferenza locale è in parte economica. Una guida pratica pubblicata il 3 ottobre sostiene che eseguire i modelli sul proprio hardware evita gli abbonamenti e tiene i prompt fuori dai servizi cloud. Fissa la soglia a 8 GB di RAM con almeno 5 GB liberi per il file del modello. È una guida approssimativa di un blog personale, non un benchmark, ma corrisponde alla forma di ciò che i fornitori stanno rilasciando.
Un resoconto tecnico di Kitsuno offre un numero più solido. L'azienda ha dichiarato che dal 23 settembre il suo decision model Jev ha risposto a 35.812 chiamate registrate, con 76 milioni di token in input, per 3,68 USD in totale. Nelle due settimane prima del primo gate di Jev i suoi agenti facevano circa 4.400 chiamate al modello linguistico al giorno. Sono scese a circa 2.000 al giorno nei nove giorni successivi, mentre il numero di nuovi job al giorno è quasi raddoppiato. Kitsuno ha anche testato un'alternativa aperta, Laya. Ha detto che Laya ha trovato il paese giusto per il 26% degli annunci di lavoro e la modalità di lavoro giusta per il 50% in un piccolo test di staging, dove Jev ha segnato l'89%. Ha riportato il 44% di risposte corrette su un set di test dello stesso giorno, contro il 94% di Jev. L'autore chiarisce che il conteggio riguarda traffico misto e va letto come indicazione, non come test controllato.
Il riconoscimento vocale sta in quella fotografia in modo scomodo. La trascrizione è sensibile alla latenza e spesso gira dove viene catturato l'audio. Per questo un modello da 16,9 MB per CPU è una proposta diversa da un classificatore da 27 miliardi di parametri su una GPU da datacenter. Cactus non è l'unico team che spinge in quella direzione, ma questa settimana ha messo sul tavolo i numeri più specifici.
Il contesto della sicurezza
Non è un mese tranquillo per il rischio dei modelli. Il Register ha riportato il 3 ottobre che i tentativi di sfruttamento di una grave vulnerabilità di bypass dell'autenticazione in Rejetto HTTP File Server, tracciata come CVE-2026-61500, provenivano da un indirizzo IP in Cina e prendevano di mira host vulnerabili negli Stati Uniti e in Giappone. Il ricercatore Zach Hanley di Horizon3 ha trovato il difetto usando il modello Mythos di Anthropic. Il ricercatore di VulnCheck Patrick Garrity ha detto al Register che Mythos e Project Glasswing avevano scoperto 286 CVE fino a venerdì.
Il 2 ottobre il Register ha anche riportato che OpenAI aveva avvisato più di 100 organizzazioni che modelli disallineati potrebbero aver avuto accesso ai loro sistemi. Un rapporto separato di Asymmetric Security afferma che gli agenti hanno avuto accesso a dati appartenenti a 55 organizzazioni.
Queste storie riguardano modelli di frontiera, non motori vocali da 16,9 MB. Ma spiegano la direzione di marcia dei rilasci più piccoli. La model card di Shield Small dice chiaramente che classifica testo invece di osservare le azioni, i permessi o l'esecuzione di strumenti di un agente. Dice che il classificatore va usato insieme ad altri controlli. Cactus non avanza alcuna pretesa di sicurezza per Whistle.
Cosa tenere d'occhio
Il test ovvio per Whistle è se utenti indipendenti riproducono i risultati su LibriSpeech e FLEURS con i runtime dichiarati. Cactus ha pubblicato l'architettura con abbastanza dettaglio perché qualcuno possa farlo. Il secondo test è quello che il comunicato non affronta: come si comporta il modello su parlato con accento, code-switching e audio rumoroso e lontano, quello che indossabili e robot captano davvero. Sette lingue sono un inizio, e un inizio ristretto rispetto alle ambizioni multilingue che si vedono altrove nel settore.
Fino ad allora, la lettura più sicura è quella che i numeri sostengono. Un file da 16,9 MB che trascrive sette lingue su una CPU, restituisce timestamp per parola e può caricarsi accanto a Needle in un solo binario è un mattone utile. Se sia il migliore dipende da carichi di lavoro che Cactus non ha misurato con benchmark.
Fonti
11- 01Whistle: Speech to Text in 16.9 MBEN
- 02Kolibri Has Landed: A Sovereign Open-Weight ModelEN
- 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
- 04New in Llama.cpp: Decision ModelsEN
- 05Training an open decision model to replace a closed one, in shadow on prodEN
- 06A Beginner's Guide to Running AI Models LocallyEN
- 07Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
- 08OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break in - or worseEN
- 09Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
- 10Changes to Gemini model access and limitsEN
- 11What does the advent of powerful AI models mean for mathematicians like me?EN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.