Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Phonon-2, Coop i Kumo Tabular: tydzień małych modeli open AI

Fermion Research wydało 30 września Phonon-2, otwarty model rozpoznawania mowy angielskiej, który mieści się w pliku o rozmiarze 164 MB i osiąga średnio 5,21 proc. błędu słów na siedmiu angielskich zbiorach Open ASR Leaderboard. Premiera wypadła w tygodniu, w którym najwięcej do powiedzenia miały wydania otwartych wag, nie starty modeli frontier.

AI i modeleWyjaśnienieAnna KaczmarekOpublikowano: 30 września 20264 min czytaniaŹródła 14
Phonon-2, Coop i Kumo Tabular: tydzień małych modeli open AI

Cała sprawa rozbija się o rozmiar. Fermion Research podaje, że koder modelu zapisuje każdą wagę jako jeden z pięciu wyuczonych poziomów, przy około 2,1 bita. Wagi trafiają na licencję CC-BY-4.0, a ten sam plik działa na Macach, Linuksie, Windowsie i kartach NVIDIA. Na MacBooku Air, jak twierdzi firma, godzina nagrania zamienia się w tekst w około 20 sekund.

Tego samego dnia pojawiły się dwa kolejne otwarte wydania. NVIDIA opublikowała na Hugging Face Kumo Tabular, otwarty model bazowy do predykcji tabelarycznej. A wolontariacki projekt Coop opublikował repozytorium opisujące mały model językowy wstępnie trenowany bez serwera, bez finansowania i bez demona.

Co mówią liczby

Główna obietnica Phonon-2 to dokładność na bajt. Fermion twierdzi, że na siedmiu angielskich zbiorach Open ASR Leaderboard model osiąga średnio 5,21 proc. błędu słów, a każdy otwarty model z lepszym wynikiem jest co najmniej 5,8 razy większy. Na mowie parlamentarnej sięga 100,8 proc. dokładności słów swojego nauczyciela, a na spotkaniach go przewyższa, przy pliku 15 razy mniejszym, podaje firma. Punktem odniesienia jest Parakeet TDT 0.6B v3 od NVIDIA, którą Fermion wskazuje jako źródło licencji własnych wag. Firma twierdzi też, że Phonon-2 pozostaje przed Parakeet Redux, opisywanym jako drugi model niskobitowy w tym rozmiarze, na każdym testowanym poziomie szumu. To liczby producenta, opublikowane razem z modelem. Szybkie ścieżki są włączane tylko wtedy, gdy błąd słów mieści się w granicach szumu ścieżki dokładnej, według opisu Fermion.

Model tabelaryczny NVIDIA idzie inną drogą. Kumo Tabular przewiduje etykiety dla nowych wierszy w jednym przejściu do przodu, bez trenowania, bez dostrajania i bez inżynierii cech, w klasyfikacji i regresji. Był wstępnie trenowany wyłącznie na danych sztucznych, występuje w trzech rozmiarach od 28 000 000 do 215 000 000 parametrów i jest wydany na licencji OpenMDW-1.1 do użytku komercyjnego, podaje firma. NVIDIA deklaruje pierwsze miejsce na czterech benchmarkach: TabArena, BeyondArena, TALENT i ScoringBench.

Pętla treningowa bez właściciela

Coop jest najdziwniejszy z całej trójki. Jego strona na GitHubie opisuje pseudo-gradienty przychodzące jako pull requesty do Hugging Face, agregowane przez bezstanowe zadanie cron w GitHub Actions z użyciem DiLoCo, przy czym wagi i stan optymalizatora żyją wyłącznie na Hugging Face. Pracę wykonują podarowany sprzęt konsumencki i darmowe plany. Etap 2 to model o około 145 000 000 parametrów trenowany od zera na FineWeb-Edu; etap 1, model o 15 000 000 parametrów na TinyStories, zakończył się po przekroczeniu optymalnego budżetu Chinchilli, podaje repozytorium.

Projekt twierdzi, że wielu wolontariuszy na różnych maszynach, Apple Silicon i zwykłym CPU, wytrenowało ten sam krok zewnętrzny i zostało uśrednionych w jedną aktualizację. Opisuje też obsługę awarii: zgłoszenie, które ścigało się z taktem, przyjęto o jeden krok później z mniejszą wagą opóźnienia, powtórzone rundy jednego użytkownika scalono w jeden głos, a niedokończoną rundę opróżniono, zamiast ją odrzucić. To nie jest praca na poziomie frontier. I o to chodzi. Tego samego dnia brytyjski AI Security Institute i Meridian Labs opublikowały Inspect, otwarty framework do ewaluacji modeli frontier z ponad 200 gotowymi testami i obsługą ponad 20 dostawców modeli, a także piaskownicą w Dockerze, Kubernetesie i Modal.

Spór otwarte kontra zamknięte toczy się publicznie gdzie indziej. The Register podał 30 września, że OpenAI oskarżyło osoby związane z chińskim Moonshot AI o atak destylacyjny, który zaczął się 1 lipca, ze skokami o dużej liczbie 24 i 25 lipca, złożonymi z 16 000 żądań od ponad 4 000 użytkowników. OpenAI podało, że przerwało kampanię 28 lipca. Moonshot nie odpowiedział od razu na prośbę The Register o komentarz. Tego samego dnia The Decoder podał, że DeepSeek wydał otwartoźródłowe narzędzia programistyczne dla układów Ascend firmy Huawei, oparte na TileLang, otwartoźródłowym języku stworzonym pierwotnie przez badaczy z Uniwersytetu Pekińskiego. Reuters, cytowany w tym tekście, umieścił wydanie obok bibliotek do obliczeń i przenoszenia danych między układami. DeepSeek podał, że Huawei w pełni wsparł pracę, a obie firmy zoptymalizowały superwęzeł ze 128 układów Ascend 950. Regulatorzy ruszają w tym samym czasie. The Guardian podał 30 września, że FTC otworzyło ogólnobranżowe śledztwo wobec Anthropic i OpenAI, z formalnymi żądaniami informacji i zeznań, co jest pierwszą oficjalną akcją egzekucyjną USA dotyczącą zbuntowanych agentów AI. CNBC potwierdziło postępowanie i podało, że FTC odmówiło wskazania innych badanych firm.

Opisane wyżej otwarte wydania nie mają związku z tą sprawą. Łączy je jednak założenie: że zdolności, a przynajmniej te użyteczne, dryfują w stronę wag, które każdy może pobrać. Tegoroczny dowód to małe modele z wąskimi zadaniami, wolontariacka pętla treningowa i tabela benchmarków producenta. Czy składa się z tego zmiana, odpowiedzą kolejne cykle wydań.

Komentarze 0

Źródła

14
  1. 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  2. 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04Inspect: An open-source framework for large language model evaluationsEN
  5. 05Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
  6. 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  7. 07US trade regulator opens investigation into AI giantsEN
  8. 08FTC is investigating OpenAI, Anthropic and other AI companies over product risksEN
  9. 09OpenAI delays IPO over AI safety concernsEN
  10. 10OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN
  11. 11"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
  12. 12"We're not going to shoot ourselves in the foot" over hack fallout, says OpenAI's chief research officerEN
  13. 13OpenAI's Jev clone could help the frontier lab stop its swarming agentsEN
  14. 14Google drops Gems for Skills, joining OpenAI and Anthropic in the shift to agent-ready prompt formatsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.