Tencent publikuje raport techniczny Hy-Nomas i test porównawczy na 280 pozycji

Badacze i konkurencyjne laboratoria mogą teraz testować spójność w długim horyzoncie, wykonywanie poleceń i kontrolę kamery na opublikowanym zestawie, a nie na materiale promocyjnym. Liczby są własne Tencenta: w ocenie ludzi Hy-Nomas wypada lepiej niż istniejące modele, a nagrania porównawcze z Genie 4 nie powstały w dopasowanych, niezależnych warunkach.

Co Tencent faktycznie opublikował

Publikacja z 30 października to raport i zestaw ewaluacyjny, nie premiera produktu. Tencent zapowiedział Hy-Nomas wcześniej. Nowe materiały opisują wewnętrzną budowę i metodę oceny.

Hy-Nomas to model dyfuzyjny wideo z 8 mld parametrów. Przyjmuje swobodne polecenia tekstowe i ciągłą kontrolę kamery w kolejnych turach. Wagi są dostępne na Hugging Face na licencji Apache 2.0 i zajmują około 196 GB. Kod jest na GitHubie, dostępne jest też demo online. Wydanie na Hugging Face pochodzi z końca października.

Jak zbudowany jest model

Hy-Nomas to segmentowo autoregresyjny transformer dyfuzyjny, a nie generator wideo tworzący całość w jednym przebiegu. Tworzy segmenty o zmiennej długości, warunkowane historią przechowywaną w pamięci podręcznej. Pamięć świata to KV cache przenoszony dalej i odświeżany przy generowaniu kolejnych segmentów. Polecenia działają tylko w ograniczonym oknie czasowym. Mechanizm uwagi wyznacza to okno. Około 8 mld parametrów rozłożono na 54 bloki MMDiT z dwoma strumieniami. Rozmiar ukryty wynosi 2 048. Opcjonalny moduł ulepszania promptów Nomas-PE przepisuje luźną prozę na ustrukturyzowane opisy JSON. Wideo powstaje w rozdzielczości 720 na 1 280 przy 24 klatkach na sekundę. Dostrojony dekoder PixelUMM zamienia latentne reprezentacje DCAE-V na klatki w ośmiu destylowanych krokach odszumiania.

Wdrożenie nie jest lekkie. Domyślna konfiguracja wymaga ośmiu GPU. Istnieje ścieżka na jednej karcie RTX 4090 z DiT w INT8.

Test porównawczy i jego ograniczenia

Hy-Nomas-Bench ma 280 pozycji w czterech ścieżkach: wieloturowe polecenia tekstowe, nawigacja kamerą, przeplatane polecenia tekstowe i kamerowe oraz pamięć przestrzenna. Raport porównuje Hy-Nomas z Genie 3, LingBot-World v2 i Happy Oyster w testach parami z udziałem ludzi. Hy-Nomas wygrywa w interakcji i podążaniu za promptem, z odnotowanym wskaźnikiem zwycięstw około 65% w podążaniu za promptem, a przegrywa z Genie 3 w długoterminowej pamięci przestrzennej. To porównania autorów na teście autorów.

Modele świata wideo optymalizują pod kątem tego, co widz zaakceptuje. Stos technologiczny do jazdy autonomicznej albo robotyki potrzebuje dokładności metrycznej: szerokości pasów, odczytów lidaru, pieszego, który nie może teleportować się z powrotem na krawężnik.

Rywal, z którym się go porównuje

Baidu ujawniło Apollo World 3 listopada. To symulator sterowany przez agenta, który generuje obserwacje kamery i lidaru wirtualnego miasta. W tym mieście ruch reaguje na badany pojazd. Wang Liang, główny architekt grupy inteligentnej jazdy Baidu, powiedział, że model świata nie powinien być malarzem produkującym efektowne wideo, ale egzaminatorem bezpieczeństwa jazdy. Opracowana następnie skala oceny „2+3” traktuje przyczynowość i interaktywność jako warunki wejścia. Ocenia dokładność fizyczną, trwałość i działanie w czasie rzeczywistym. Baidu nie podało liczby parametrów, architektury, artykułu, tabeli wyników, wag, API ani ceny.

Dziś można pobrać tylko jeden z tych dwóch modeli. Hy-Nomas ma otwarte wagi, Apollo World nie.

Żadna z firm nie opublikowała niezależnego porównania bezpośredniego. Dopóki ktoś spoza Tencenta nie uruchomi Hy-Nomas-Bench i nie opublikuje wyników, 280 pozycji mierzy to, co Tencent zdecydował się mierzyć.