Otwarte wagi w małym wydaniu: Phonon-2, Kumo Tabular i model od wolontariuszy
Fermion Research opublikowała 30 września Phonon-2, otwarty model rozpoznawania mowy mieszczący się w pliku o rozmiarze 164 MB. Na siedmiu angielskich zestawach Open ASR Leaderboard średni błąd słowa wynosi 5,21%. W ciągu kilku godzin obok niego pojawiły się Kumo Tabular od Nvidii i trenowany przez wolontariuszy model językowy o 145 mln parametrów.

Trzy wydania z otwartymi wagami trafiły do sieci w ciągu jednego dnia. Żadne nie goniło za skalą. Fermion Research opublikowała Phonon-2 30 września. To angielski model rozpoznawania mowy, który zapisuje każdą wagę kodera jako jeden z pięciu wyuczonych poziomów przy około 2,1 bita, w pliku o rozmiarze 164 MB. Firma twierdzi, że dorównuje swojemu nauczycielowi w pełnej precyzji o rozmiarze 2,5 GB, zestaw po zestawie. Na nagraniach ze spotkań i w mowach parlamentarnych wypada lepiej niż nauczyciel. Godzinę dźwięku transkrybuje w około 20 sekund na MacBooku Air. Wagi są na Hugging Face na licencji CC-BY-4.0. To licencja modelu Parakeet TDT 0.6B v3 od Nvidii, czyli 600 mln parametrów, z którego się wywodzą.
Ten ostatni szczegół ma znaczenie. Wyścig małych otwartych modeli to w dużej mierze wyścig nauczycieli i licencji.
Fermion twierdzi, że każdy otwarty model z lepszym wynikiem na siedmiu angielskich zestawach Open ASR Leaderboard jest co najmniej 5,8 razy większy. Przewaga ma się utrzymywać w hałasie, wyprzedzając Parakeet Redux, inny model niskobitowy w tym rozmiarze. Dane o szybkości mają zastrzeżenia. Dotyczą jednego klipu naraz, z log-mel, bez ładowania modelu. Każda szybka ścieżka trafia do wydania tylko wtedy, gdy jej błąd słowa mieści się w granicach szumu ścieżki dokładnej. Sprawdzenie opiera się na sparowanym bootstrapie po klipach z 4 000 powtórzeń.
Kumo Tabular atakuje cykl życia modeli drzewiastych
Nvidia opublikowała Kumo Tabular 29 września. To otwarty model bazowy do klasyfikacji i regresji tabelarycznej. Przewiduje nowe wiersze w jednym przejściu do przodu, bez trenowania, dostrajania i inżynierii cech. Występuje w trzech rozmiarach od 28 mln do 215 mln parametrów. Jest wydany na licencji OpenMDW-1.1 do użytku komercyjnego. Zajmuje pierwsze miejsce na czterech testach: TabArena, BeyondArena, TALENT i ScoringBench, według wpisu na Hugging Face.
Architektura zapożycza z TabICL i TabPFN, z mechanizmem uwagi na kolumny, wiersze i kontekst. Firma twierdzi, że model trenowano wyłącznie na danych sztucznych. To omija problem prywatności przy trenowaniu na tabelach klientów. Czy wyprze w produkcji drzewa wzmacniane gradientowo, to osobne pytanie niż miejsce w rankingach. Wpis Nvidii na nie nie odpowiada.
Model językowy trenowany na GitHub Actions i podarowanym sprzęcie
Projekt Coop to repozytorium na GitHubie, które ruszyło 30 września. Próbuje czegoś dziwniejszego: wstępnego trenowania małego modelu językowego bez serwerów i bez finansowania. Etap 2 to transformer dekoderowy o około 145 mln parametrów, trenowany od zera na FineWeb-Edu. Workery pobierają checkpoint z Hugging Face. Wykonują lokalne kroki AdamW na osobistym fragmencie danych. Przesyłają pseudo-gradient jako pull request do publicznego repozytorium zbioru danych. Bezstanowe zadanie cron na GitHub Actions działa co pięć minut. Agreguje zgłoszenia średnią uciętą albo medianą geometryczną i wykonuje jeden zewnętrzny krok Niestierowa.
Etap 1 jest dowodem. Model o 15 mln parametrów, trenowany przez wolontariuszy sześć dni ponad optymalny budżet Chinchilli. Strata walidacyjna spadła z 9,01 do 2,8. Wagi pozostają dostępne. Dokumentacja projektu jest nietypowo szczera w kwestii ewaluacji. Zauważa, że pojedyncza liczba straty walidacyjnej nic nie mówi, bo zewnętrzne kroki podnoszą ją równie często, jak obniżają. Kierunek jest właściwością serii, nie jednego punktu.
Dwa inne otwarte wydania domknęły okno. Brytyjski Instytut Bezpieczeństwa AI i Meridian Labs opublikowali Inspect. To framework ewaluacyjny z ponad 200 gotowymi testami. Oferuje też piaskownicę dla niezaufanego kodu modeli w Dockerze, Kubernetesie i Modalu. Sparticle62ops wydało też PSSA, model językowy niebędący transformerem, napisany w Rust bez frameworka ML pod spodem. Twierdzi, że PSSA uczy się szybciej niż transformer przy tych samych parametrach. Twierdzi też, że generuje tekst około dwanaście razy szybciej na tym samym procesorze.
Otwarte wagi to nie cała historia. Także 30 września FTC otworzyła branżowe śledztwo wobec Anthropic, OpenAI i grupy badawczej Metr. To pierwsza oficjalna akcja egzekucyjna USA w sprawie niebezpiecznych agentów AI, jak podał The Guardian. OpenAI tymczasem opóźnia debiut giełdowy i wstrzymuje wydanie modelu z powodu obaw o bezpieczeństwo, według Ars Technica. Kontrast trudno przeoczyć. Modele, które wychodzą bez oporów, są małe. Firmy pod lupą mają najwyższe wyceny.
Źródła
7- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.