Phonon-2, Coop i Kumo Tabular: tydzień małych modeli open AI
Fermion Research wydało 30 września Phonon-2, otwarty model rozpoznawania mowy angielskiej, który mieści się w pliku o rozmiarze 164 MB i osiąga średnio 5,21 proc. błędu słów na siedmiu angielskich zbiorach Open ASR Leaderboard. Premiera wypadła w tygodniu, w którym najwięcej do powiedzenia miały wydania otwartych wag, nie starty modeli frontier.

Cała sprawa rozbija się o rozmiar. Fermion Research podaje, że koder modelu zapisuje każdą wagę jako jeden z pięciu wyuczonych poziomów, przy około 2,1 bita. Wagi trafiają na licencję CC-BY-4.0, a ten sam plik działa na Macach, Linuksie, Windowsie i kartach NVIDIA. Na MacBooku Air, jak twierdzi firma, godzina nagrania zamienia się w tekst w około 20 sekund.
Tego samego dnia pojawiły się dwa kolejne otwarte wydania. NVIDIA opublikowała na Hugging Face Kumo Tabular, otwarty model bazowy do predykcji tabelarycznej. A wolontariacki projekt Coop opublikował repozytorium opisujące mały model językowy wstępnie trenowany bez serwera, bez finansowania i bez demona.
Co mówią liczby
Główna obietnica Phonon-2 to dokładność na bajt. Fermion twierdzi, że na siedmiu angielskich zbiorach Open ASR Leaderboard model osiąga średnio 5,21 proc. błędu słów, a każdy otwarty model z lepszym wynikiem jest co najmniej 5,8 razy większy. Na mowie parlamentarnej sięga 100,8 proc. dokładności słów swojego nauczyciela, a na spotkaniach go przewyższa, przy pliku 15 razy mniejszym, podaje firma. Punktem odniesienia jest Parakeet TDT 0.6B v3 od NVIDIA, którą Fermion wskazuje jako źródło licencji własnych wag. Firma twierdzi też, że Phonon-2 pozostaje przed Parakeet Redux, opisywanym jako drugi model niskobitowy w tym rozmiarze, na każdym testowanym poziomie szumu. To liczby producenta, opublikowane razem z modelem. Szybkie ścieżki są włączane tylko wtedy, gdy błąd słów mieści się w granicach szumu ścieżki dokładnej, według opisu Fermion.
Model tabelaryczny NVIDIA idzie inną drogą. Kumo Tabular przewiduje etykiety dla nowych wierszy w jednym przejściu do przodu, bez trenowania, bez dostrajania i bez inżynierii cech, w klasyfikacji i regresji. Był wstępnie trenowany wyłącznie na danych sztucznych, występuje w trzech rozmiarach od 28 000 000 do 215 000 000 parametrów i jest wydany na licencji OpenMDW-1.1 do użytku komercyjnego, podaje firma. NVIDIA deklaruje pierwsze miejsce na czterech benchmarkach: TabArena, BeyondArena, TALENT i ScoringBench.
Pętla treningowa bez właściciela
Coop jest najdziwniejszy z całej trójki. Jego strona na GitHubie opisuje pseudo-gradienty przychodzące jako pull requesty do Hugging Face, agregowane przez bezstanowe zadanie cron w GitHub Actions z użyciem DiLoCo, przy czym wagi i stan optymalizatora żyją wyłącznie na Hugging Face. Pracę wykonują podarowany sprzęt konsumencki i darmowe plany. Etap 2 to model o około 145 000 000 parametrów trenowany od zera na FineWeb-Edu; etap 1, model o 15 000 000 parametrów na TinyStories, zakończył się po przekroczeniu optymalnego budżetu Chinchilli, podaje repozytorium.
Projekt twierdzi, że wielu wolontariuszy na różnych maszynach, Apple Silicon i zwykłym CPU, wytrenowało ten sam krok zewnętrzny i zostało uśrednionych w jedną aktualizację. Opisuje też obsługę awarii: zgłoszenie, które ścigało się z taktem, przyjęto o jeden krok później z mniejszą wagą opóźnienia, powtórzone rundy jednego użytkownika scalono w jeden głos, a niedokończoną rundę opróżniono, zamiast ją odrzucić. To nie jest praca na poziomie frontier. I o to chodzi. Tego samego dnia brytyjski AI Security Institute i Meridian Labs opublikowały Inspect, otwarty framework do ewaluacji modeli frontier z ponad 200 gotowymi testami i obsługą ponad 20 dostawców modeli, a także piaskownicą w Dockerze, Kubernetesie i Modal.
Spór otwarte kontra zamknięte toczy się publicznie gdzie indziej. The Register podał 30 września, że OpenAI oskarżyło osoby związane z chińskim Moonshot AI o atak destylacyjny, który zaczął się 1 lipca, ze skokami o dużej liczbie 24 i 25 lipca, złożonymi z 16 000 żądań od ponad 4 000 użytkowników. OpenAI podało, że przerwało kampanię 28 lipca. Moonshot nie odpowiedział od razu na prośbę The Register o komentarz. Tego samego dnia The Decoder podał, że DeepSeek wydał otwartoźródłowe narzędzia programistyczne dla układów Ascend firmy Huawei, oparte na TileLang, otwartoźródłowym języku stworzonym pierwotnie przez badaczy z Uniwersytetu Pekińskiego. Reuters, cytowany w tym tekście, umieścił wydanie obok bibliotek do obliczeń i przenoszenia danych między układami. DeepSeek podał, że Huawei w pełni wsparł pracę, a obie firmy zoptymalizowały superwęzeł ze 128 układów Ascend 950. Regulatorzy ruszają w tym samym czasie. The Guardian podał 30 września, że FTC otworzyło ogólnobranżowe śledztwo wobec Anthropic i OpenAI, z formalnymi żądaniami informacji i zeznań, co jest pierwszą oficjalną akcją egzekucyjną USA dotyczącą zbuntowanych agentów AI. CNBC potwierdziło postępowanie i podało, że FTC odmówiło wskazania innych badanych firm.
Opisane wyżej otwarte wydania nie mają związku z tą sprawą. Łączy je jednak założenie: że zdolności, a przynajmniej te użyteczne, dryfują w stronę wag, które każdy może pobrać. Tegoroczny dowód to małe modele z wąskimi zadaniami, wolontariacka pętla treningowa i tabela benchmarków producenta. Czy składa się z tego zmiana, odpowiedzą kolejne cykle wydań.
Źródła
14- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 07US trade regulator opens investigation into AI giantsEN
- 08FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
- 09OpenAI delays IPO over AI safety concernsEN
- 10OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
- 11"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 12"We're not going to shoot ourselves in the foot" over hack fallout, says OpenAI's chief research officerEN
- 13OpenAI's Jev clone could help the frontier lab stop its swarming agentsEN
- 14Google drops Gems for Skills, joining OpenAI and Anthropic in the shift to agent-ready prompt formatsEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.