Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Otwarte wagi wciąż lądują: model mowy 164 MB, trening na 145 000 000 parametrów i chińska alternatywa dla CUDA

Nvidia opublikowała Kumo Tabular, otwarty model bazowy do predykcji tabelarycznej, we wpisie na Hugging Face z 29 września. Dzień później Fermion Research udostępniła model mowy Phonon-2 o rozmiarze 164 MB. Oba debiuty zbiegły się z wszczęciem przez FTC branżowego śledztwa w sprawie laboratoriów AI i wstrzymaniem przez OpenAI własnego IPO.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 30 września 20263 min czytaniaŹródła 6
Otwarte wagi wciąż lądują: model mowy 164 MB, trening na 145 000 000 parametrów i chińska alternatywa dla CUDA

Nvidia umieściła Kumo Tabular na Hugging Face 29 września. Wpis datowany na 29 września, opublikowany na blogu 30 września, mówi, że model przewiduje etykiety dla nowych wierszy w jednym przebiegu propagacji w przód, bez treningu, bez dostrajania i bez inżynierii cech. Występuje w trzech rozmiarach od 28 000 000 do 215 000 000 parametrów, był pretrenowany wyłącznie na danych sztucznych i jest wydany na licencji OpenMDW-1.1, która pozwala na użycie komercyjne. Firma twierdzi, że zajmuje pierwsze miejsce w TabArena, BeyondArena, TALENT i ScoringBench.

To wąskie roszczenie i Nvidia sama je zawęża: klasyfikacja i regresja tabelaryczna, czyli tabele z danymi klientów, transakcjami i logami z czujników. Chodzi o uczenie w kontekście zastosowane do wierszy, nie do tekstu. Model pretrenowany na milionach tabel czyta oznaczoną tabelę jako kontekst i zwraca prawdopodobieństwa klas albo 999 kwantyli dla regresji, z których wynikają punktowa prognoza i szacunek niepewności.

Fermion Research udostępniła Phonon-2 30 września i nazywa go najdokładniejszym otwartym modelem rozpoznawania mowy poniżej 900 MB.

Do pobrania jest 164 MB, koder zapisuje każdą wagę na około 2,1 bita, a wagi są na licencji CC-BY-4.0, tej samej co Parakeet TDT 0.6B v3 firmy Nvidia, z którego się wywodzą. Fermion podaje średni wskaźnik błędu słowa 5,21 % na siedmiu zestawach angielskich z Open ASR Leaderboard i twierdzi, że każdy otwarty model z lepszym wynikiem jest co najmniej 5,8 razy większy. Na MacBooku Air zamienia godzinę dźwięku w tekst w około 20 sekund. To liczby producenta z jego własnej strony, więc pozycję w rankingu traktuj jako deklarowaną, a nie potwierdzoną niezależnie.

Wolontariusze i bezstanowe zadanie cron

Także 30 września ruszył projekt na GitHubie o nazwie Coop z przebiegiem etapu 2: trening od zera transformera dekoderowego o około 145 000 000 parametrów na FineWeb-Edu, prowadzony w całości na oddanym sprzęcie konsumenckim oraz na darmowych planach Hugging Face i GitHub Actions. Nie ma serwera ani demona. Workery pobierają checkpoint, wykonują lokalne kroki AdamW na osobistym fragmencie danych i przesyłają pseudo-gradient jako pull request do publicznego repozytorium zbioru danych.

Bezstanowe zadanie cron w GitHub Actions agreguje każdy takt: odrzuca zbyt stare zgłoszenia, przycina i bramkuje kosinusowo pozostałe, agreguje je, wykonuje jeden zewnętrzny krok Nesterova i wgrywa nowy checkpoint. Repozytorium twierdzi, że model etapu 1 o 15 000 000 parametrów wytrenowano powyżej budżetu optymalnego według Chinchilli na TinyStories w sześć dni, a strata walidacyjna spadła z 9,01 do 2,8. To dowód działania mechanizmu, nie konkurencyjny model.

Większa historia strategiczna to chiński wysiłek. Deepseek udostępnił otwarte narzędzia programistyczne dla chipów Ascend firmy Huawei, według wpisu na swoim kanale WeChat, o którym 30 września pisał The Decoder i Reuters. Najważniejszym elementem jest TileLang, otwarty język pierwotnie rozwijany na Uniwersytecie Pekińskim, który według Deepseek oferuje prostszy model programowania niż CUDA. Huawei "w pełni wspierał" tę pracę, podał Deepseek, a obie firmy zoptymalizowały superwęzeł 128 chipów Ascend 950.

Kontekstem jest fosa deweloperska Nvidii: szacunkowo 600 000 000 deweloperów CUDA. The Decoder cytuje też SemiAnalysis, które przetestowało chip inferencyjny OpenAI o nazwie Jalapeno i nazwało fosę CUDA "potencjalnie martwą", zastrzegając, że testowało tylko stosunkowo łatwe scenariusze z około 8 000 tokenów wejściowych i 1 000 tokenów wyjściowych. Chipów Huawei nie objęło to porównanie.

Regulatorzy ruszają, gdy wagi płyną

Nic z tego nie dzieje się w próżni. The Guardian podał 30 września, że FTC prowadzi branżowe śledztwo w sprawie Anthropic, OpenAI i innych laboratoriów i planuje wymusić zeznania kadry kierowniczej, w tym z Metr. Jako pierwszy doniósł o tym New York Post. OpenAI tymczasem wstrzymuje własny debiut giełdowy: Ars Technica podała 30 września, że Sam Altman nie wejdzie na giełdę, dopóki firma nie będzie mogła "podejmować pewnych decyzji w sprawie bezpieczeństwa", a tego samego dnia LASST złożył pozew w Kalifornii.

Powyższe wydania otwartych wag są małe, tanie i konkretne. To wzorzec, który warto obserwować, nie tabele z rankingów.

Komentarze 0

Źródła

6
  1. 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  5. 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  6. 06OpenAI delays IPO over AI safety concernsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.