Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Pesi aperti in formato compatto: arrivano Phonon-2, Kumo Tabular e un modello addestrato da volontari

Fermion Research ha pubblicato Phonon-2 il 30 settembre. È un modello di riconoscimento vocale aperto che sta in un download da 164 MB. Sulle sette raccolte inglesi della Open ASR Leaderboard registra in media il 5,21% di word error. Nel giro di poche ore sono arrivati insieme il Kumo Tabular di Nvidia e un modello linguistico da 145.000.000 di parametri addestrato da volontari.

IA e modelliNotiziaGiulia FerrariPubblicato: 30 settembre 20263 min di letturaFonti 7
Pesi aperti in formato compatto: arrivano Phonon-2, Kumo Tabular e un modello addestrato da volontari

Tre rilasci a pesi aperti sono arrivati nello stesso giorno. Nessuno di loro inseguiva la scala. Fermion Research ha pubblicato Phonon-2 il 30 settembre. È un modello di riconoscimento vocale per l'inglese che memorizza ogni peso dell'encoder come uno di cinque livelli appresi, a circa 2,1 bit, in un file da 164 MB. L'azienda sostiene che eguaglia il proprio teacher a piena precisione da 2,5 GB, set per set. Sulle riunioni e sui discorsi parlamentari lo supera. Trascrive un'ora di audio in circa 20 secondi su un MacBook Air. I pesi sono su Hugging Face con licenza CC-BY-4.0. È la stessa licenza del Parakeet TDT 0.6B v3 di Nvidia, da cui derivano.

Quest'ultimo dettaglio conta. La corsa ai piccoli modelli aperti è in buona parte una corsa tra teacher e licenze.

Fermion afferma che ogni modello aperto con un punteggio migliore sulle sette raccolte inglesi della Open ASR Leaderboard è almeno 5,8 volte più grande. Sostiene che il vantaggio tiene anche in condizioni di rumore, restando davanti a Parakeet Redux, l'altro modello a basso numero di bit della stessa taglia. I dati sulla velocità arrivano con delle condizioni. Riguardano una clip alla volta, log-mel incluso, caricamento del modello escluso. Ogni percorso veloce viene distribuito solo se il suo word error resta entro il rumore del percorso esatto. Quel controllo usa un bootstrap appaiato sulle clip con 4.000 ricampionamenti.

Kumo Tabular attacca il ciclo di vita dei modelli ad albero

Nvidia ha pubblicato Kumo Tabular il 29 settembre. È un modello di base aperto per la classificazione e la regressione su dati tabellari. Predice nuove righe in un solo passaggio in avanti, senza addestramento, messa a punto né ingegneria delle feature. Esce in tre taglie, da 28.000.000 a 215.000.000 di parametri. È distribuito con licenza OpenMDW-1.1 per uso commerciale. Secondo il post su Hugging Face è primo su quattro benchmark: TabArena, BeyondArena, TALENT e ScoringBench.

L'architettura prende spunto da TabICL e TabPFN, con attenzione per colonne, righe e contesto. L'azienda dice che è stato preaddestrato solo su dati artificiali. Così aggira il problema della privacy legato all'addestramento su tabelle dei clienti. Se poi scalzerà gli alberi potenziati dal gradiente in produzione è una questione diversa dalla posizione nei benchmark. Il post di Nvidia non risponde.

Un modello linguistico addestrato su GitHub Actions e hardware donato

Il progetto Coop è un repository GitHub andato online il 30 settembre. Tenta qualcosa di più strano: preaddestrare un piccolo modello linguistico senza server e senza finanziamenti. La fase 2 è un transformer decoder-only da circa 145.000.000 di parametri addestrato da zero su FineWeb-Edu. I worker scaricano un checkpoint da Hugging Face. Eseguono passi AdamW in locale su una porzione personale dei dati. Inviano uno pseudo-gradiente come pull request su un repository di dataset pubblico. Un cron job stateless di GitHub Actions gira ogni cinque minuti. Aggrega le sottomissioni con una media trimmata o una mediana geometrica e compie un passo esterno di Nesterov.

La fase 1 è la prova. Un modello da 15.000.000 di parametri addestrato oltre il suo budget ottimale secondo Chinchilla da volontari in sei giorni. La validation loss è scesa da 9,01 a 2,8. I pesi restano disponibili. La documentazione del progetto è insolitamente schietta sulla valutazione. Osserva che un singolo valore di validation loss non dice nulla, perché i passi esterni lo alzano tanto spesso quanto lo abbassano. La direzione è una proprietà della serie, non di un punto.

Altri due rilasci aperti hanno completato la finestra. Il UK AI Security Institute e Meridian Labs hanno pubblicato Inspect. È un framework di valutazione con oltre 200 valutazioni già pronte. Offre anche il sandboxing per codice di modello non fidato su Docker, Kubernetes e Modal. E Sparticle62ops ha rilasciato PSSA, un modello linguistico non transformer scritto in Rust senza alcun framework di ML sotto. Sostiene che PSSA impari più in fretta di un transformer a parità di parametri. Sostiene anche che PSSA generi testo circa dodici volte più rapidamente sulla stessa CPU.

I pesi aperti non sono tutta la storia. Sempre il 30 settembre, la FTC ha aperto un'indagine su tutto il settore che coinvolge Anthropic, OpenAI e il gruppo di ricerca Metr. È la prima azione ufficiale di enforcement negli Stati Uniti sugli agenti AI fuori controllo, come ha riportato The Guardian. OpenAI, intanto, rinvia la sua IPO e trattiene il rilascio di un modello per preoccupazioni sulla sicurezza, secondo Ars Technica. Il contrasto è difficile da non vedere. I modelli che arrivano senza attriti sono quelli piccoli. Le aziende sotto esame sono quelle con le valutazioni più alte. Il conto delle dimensioni, intanto, è presto fatto: il teacher da 600.000.000 di parametri resta il termine di paragone per ogni modello compresso che arriva sul mercato.

Commenti 0

Fonti

7
  1. 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  2. 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04Inspect: An open-source framework for large language model evaluationsEN
  5. 05PSSA: A non-transformer language model written from scratch in RustEN
  6. 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  7. 07OpenAI delays IPO over AI safety concernsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.