Otwarte wagi wchodzą wyżej: projekty chipów, mowa i modele tabelaryczne w jednym tygodniu
OpenAI i Synopsys podpisały 30 września wieloletnią umowę na zbudowanie GPT-Synopsys, wyspecjalizowanego modelu do projektowania chipów. To jedna z co najmniej pięciu premier i partnerstw otwartych lub otwarcie opisanych modeli, które przypadły na ostatnie dni września.

Najnowszy ruch w pracy nad otwartymi modelami to nie wynik z rankingu. To umowa. 30 września OpenAI i Synopsys poinformowały, że podpisały wieloletnie partnerstwo strategiczne, którego celem jest zbudowanie wyspecjalizowanego modelu AI do projektowania chipów o nazwie GPT-Synopsys, podał The Decoder. Synopsys sprzedaje narzędzia do automatycznego projektowania elektroniki, czyli oprogramowanie, w którym inżynierowie rozplanowują układy scalone. OpenAI licencjonuje te narzędzia na potrzeby projektu.
Deklarowany cel to model, który potrafi „rozumować o projektowaniu i weryfikacji chipów oraz bezpośrednio obsługiwać narzędzia Synopsys”. Obie firmy twierdzą, że trwają wczesne testy u klientów z branży półprzewodników, że dane klientów nie posłużą do treningu i będą przechowywane w formie zaszyfrowanej, a produkt trafi na rynek wspólnie, z podziałem przychodów. Sassine Ghazi, prezes Synopsys, mówi, że AI może znacznie przyspieszyć proces projektowania. Współzałożyciel OpenAI Greg Brockman przedstawia umowę jako drogę do lepszych chipów i lepszej AI.
To model zamknięty, wpisany w komercyjny łańcuch. Ten sam tydzień przyniósł premierę zupełnie innego rodzaju.
Małe modele, małe pliki, głośne deklaracje
Fermion Research udostępniło Phonon-2 30 września, opisując go jako najdokładniejszy otwarty model rozpoznawania mowy poniżej 900 MB. Firma twierdzi, że w pliku o rozmiarze 164 MB dorównuje dokładnością swojemu pełnoprecyzyjnemu modelowi nauczycielskiemu o rozmiarze 2,5 GB, punkt w punkt, wygrywa z nim na nagraniach ze spotkań i z obrad parlamentów, a godzinę dźwięku zamienia w tekst w około 20 sekund na MacBooku Air. Wagi leżą na Hugging Face na licencji CC-BY-4.0, tej samej co NVIDIA Parakeet TDT 0.6B v3, od którego się wywodzą.
Ciekawa liczba to 5.21. Na siedmiu angielskich zbiorach z Open ASR Leaderboard Phonon-2 osiąga średnio 5.21 procent błędu słowa, a każdy otwarty model z lepszym wynikiem jest co najmniej 5.8 razy większy, podaje firma w komunikacie. Każda waga kodera jest zapisana jako jeden z pięciu wyuczonych poziomów, upakowanych po pięć cyfr trójkowych w bajcie, a dodatkowy bit przy każdej niezerowej wadze wybiera jej wartość bezwzględną. Daje to około 2.1 bita na przechowywaną wagę. Firma zapewnia, że przewaga utrzymuje się w hałasie, od cichego pokoju po szum tła tak głośny jak mówca, gdzie model pozostaje przed Parakeet Redux.
Niezależnego potwierdzenia w dossier nie ma. Pozycję w rankingu i deklarację o hałasie traktuj jako liczby dostawcy, dopóki ktoś ich nie odtworzy.
Tego samego dnia NVIDIA umieściła na Hugging Face swój model bazowy do danych tabelarycznych. NVIDIA Kumo Tabular to otwarty model bazowy dla danych tabelarycznych, który przewiduje etykiety nowych wierszy w jednym przebiegu w przód, bez treningu, bez dostrajania i bez inżynierii cech, zarówno dla klasyfikacji, jak i regresji. Trenowano go wyłącznie na danych sztucznych, występuje w trzech rozmiarach od 28 000 000 do 215 000 000 parametrów, działa przez bibliotekę structured-data-models o otwartym kodzie NVIDII i jest wydany na licencji OpenMDW-1.1, dopuszczającej użycie komercyjne. NVIDIA twierdzi, że zajmuje pierwsze miejsce w czterech benchmarkach: TabArena, BeyondArena, TALENT i ScoringBench.
Szczegóły architektury znaczą mniej niż sam sposób ujęcia. Pracę nad danymi tabelarycznymi zdominowały na dwa dziesięciolecia drzewa wzmacniane gradientowo, a NVIDIA przekonuje, że wstępnie wytrenowany transformer potrafi czytać oznaczoną tabelę w kontekście i pominąć cały cykl życia zadania: zbieranie etykiet, inżynierię cech i dostrajanie hiperparametrów. Model korzysta z uwagi po kolumnach, po wierszach i w kontekście, w linii TabICL i TabPFN, z temperaturą uwagi zależną od długości, żeby softmax nie rozmywał się, gdy tabela wnioskowania jest znacznie większa od tabeli treningowej. Braki danych nie wymagają uzupełniania.
Otwarte wagi od wolontariuszy i od instytutu państwowego
Dwie premiery z 30 września nie miały za sobą żadnej firmy albo miały państwową. Coop to mały model językowy wstępnie wytrenowany przez wolontariuszy, bez serwera, bez finansowania i bez demona. Pętla treningowa działa na użyczonym sprzęcie konsumenckim i na darmowych planach Hugging Face oraz GitHub Actions, podaje repozytorium projektu na GitHubie. Etap 2 trwa: dekoderowy transformer o około 145 000 000 parametrów trenuje od zera na FineWeb-Edu, z 12 warstwami, 14 głowami, d=896, kontekstem 1 024 tokenów i słownikiem BPE na poziomie bajtów o rozmiarze 32 000. Etap 1, model o 15 000 000 parametrów na TinyStories, zakończył się po przekroczeniu budżetu optymalnego według Chinchilli, ze stratą walidacyjną spadającą z 9.01 do 2.8 w ciągu sześciu dni.
Cały mechanizm jest tu historią. Workerzy pobierają bieżący checkpoint, wykonują lokalne kroki AdamW na osobistym fragmencie danych, liczą pseudogradient i zgłaszają go jako pull request do publicznego repozytorium zbiorów danych na Hugging Face. Bezstanowe zadanie cron w GitHub Actions, zaplanowane co pięć minut, ale w praktyce uruchamiane w odstępach od minut do kilku godzin, czyta checkpoint i otwarte pull requesty ze skrzynki, odrzuca zgłoszenia zbyt stare, przycina i waży kosinusowo pozostałe, agreguje je przez uciętą średnią lub medianę geometryczną, wykonuje jeden zewnętrzny krok Niestierowa, wgrywa nowy checkpoint, dopisuje autorów do rejestru i zamyka przetworzone pull requesty.
Repozytorium mówi o ewaluacji bez owijania w bawełnę. Pojedyncza strata walidacyjna nic nie mówi, bo zewnętrzne kroki podnoszą ją równie często, jak obniżają, więc tabela wyników dopasowuje nachylenie prostej do serii względem tokenów, a nie kroków zewnętrznych, i podaje je z błędem standardowym. „Spada” znaczy, że nachylenie przekracza dwa błędy standardowe. To uczciwsza zasada raportowania niż w większości finansowanych laboratoriów.
Tego samego dnia brytyjski Instytut Bezpieczeństwa AI i Meridian Labs opublikowały Inspect, otwartoźródłowe ramy do ewaluacji modeli frontier. Inspect obejmuje kodowanie, zadania agentowe, rozumowanie, wiedzę, zachowanie i rozumienie multimodalne, a w zestawie ma ponad 200 gotowych ewaluacji. Jego klocki to zbiory danych, solvery i oceniające. Obsługuje wywoływanie narzędzi, w tym narzędzi MCP oraz wbudowanych bash, python, wyszukiwania w sieci i narzędzi komputerowych, uruchamia dowolnych zewnętrznych agentów, takich jak Claude Code, Codex CLI i Gemini CLI, a niezaufany kod modeli izoluje w Dockerze, Kubernetesie, Modalu, Proxmoksie i Vagrancie przez API rozszerzeń. Wybór terminu jest wymowny. Narzędzia ewaluacyjne od państwowego instytutu bezpieczeństwa trafiają w tym samym tygodniu, w którym amerykański regulator wszczął branżowe dochodzenie w sprawie niewłaściwego działania agentów AI.
Otwarte wagi wchodzą w chiński stos chipowy
Deepseek udostępnia otwartoźródłowe narzędzia programistyczne dla chipów AI Huawei, wynika z wpisu na oficjalnym kanale Deepseek na WeChat, a o otwarciu kodu informował Reuters. Na pierwszym planie jest TileLang, otwartoźródłowy język programowania chipów AI, pierwotnie opracowany przez badaczy z Uniwersytetu Pekińskiego. Deepseek używa go od około roku i opisuje teraz jako swoje główne narzędzie w pracach nad sztuczną inteligencją ogólną, podał The New York Times.
Oprogramowanie zawiera biblioteki do obliczeń i do przesyłania danych między chipami. Według Deepseek Huawei „w pełni wspierał” te prace, a obie firmy zoptymalizowały superwęzeł, czyli klaster 128 chipów Ascend 950. Deepseek przekonuje, że kto chce zbudować niezależny ekosystem oprogramowania dla chipów AI, najpierw potrzebuje uniwersalnego języka, w którym łatwo się programuje, a który nadal wyciąga z hardware’u pełną wydajność, i twierdzi, że TileLang daje prostszy model programowania niż CUDA.
Łączy się to z szerszą dyskusją o tym, gdzie siedzi przewaga Nvidii. Firma badawcza SemiAnalysis, po przetestowaniu chipu wnioskowania Jalapeno od OpenAI, nazwała fosę CUDA „potencjalnie martwą”, bo OpenAI tak szybko uruchamia nowe modele na własnym sprzęcie, i podała, że Jalapeno pobił Blackwella Nvidii pod względem wydajności na wat w większości testowanych scenariuszy. SemiAnalysis dodał własne zastrzeżenia: testy objęły stosunkowo łatwe do optymalizacji scenariusze z około 8 000 tokenów wejściowych i 1 000 tokenów wyjściowych, a AgentX, benchmark wieloetapowych zadań agentowych, nie został jeszcze uruchomiony. W sierpniu SemiAnalysis uznał, że Nvidia ma w tym benchmarku wyraźną przewagę, i stwierdził, że Nvidia i tak będzie tańsza za token niż AMD, nawet gdyby AMD rozdawało swój sprzęt, bo przewaga siedzi w oprogramowaniu, które spina wiele chipów w jeden system. Chipy Huawei nie były częścią porównania w AgentX.
Jest też punkt nacisku wewnątrz kraju. Huawei przyznaje, że nie nadąża z popytem u siebie, więc planuje sprzedawać mniej chipów za granicą. Odnosząc się do amerykańskich kontroli eksportu, obecny przewodniczący rotacyjny Huawei Eric Xu powiedział, że firma nie może zaakceptować przyszłości zależnej od tego, czy inni zechcą sprzedawać chipy do Chin.
Na co patrzeć
Wzór w tych premierach jest taki, że otwarte wagi nie mieszczą się już tylko w checkpointach chatbotów. Przychodzą jako kodery mowy dość małe na laptopa, predyktory tabelaryczne celowane w tabele przedsiębiorstw, zestawy ewaluacyjne od państwowego organu bezpieczeństwa, pętle treningowe wolontariuszy działające na darmowych planach i teraz narzędzia programistyczne dla stosu akceleratorów innego niż Nvidia.
Dwie sprawy pozostają nierozstrzygnięte. Po pierwsze, wyniki benchmarków Phonon-2 i Kumo Tabular to w tym dossier twierdzenia dostawcy lub opiekuna, a przy żadnej z trzech premier modeli nie ma niezależnego odtworzenia. Po drugie, obraz regulacyjny zmierza w przeciwnym kierunku niż premiery: dochodzenie FTC wobec Anthropic, OpenAI i Metr to pierwsze oficjalne działanie egzekucyjne USA dotyczące niesfornych agentów AI, o czym The Guardian informował 30 września.
Otwarte wagi żadnej z tych spraw nie rozstrzygają. Przenoszą tylko spór na sprzęt, na którym więcej osób może uruchomić model.
Źródła
7- 01OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular PredictionEN
- 04Coop: A small language model pretrained by volunteersEN
- 05Inspect: An open-source framework for large language model evaluationsEN
- 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
- 07US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.