Otwarte modele wideo i multimodalne są tańsze od czołówki, ale weryfikacja pochodzenia nie nadąża

Argument kosztowy za modelami otwartymi

Dla kupujących to przede wszystkim sprawa wydatków. Zespół, który kiedyś płacił ceny z czołówki za każde zadanie, może dziś zarezerwować drogi model na trudną dziesiątą część pracy. Resztę puści na wagach, które może pobrać. Mniejsze modele multimodalne działają też na urządzeniach, nie tylko w chmurze dostawcy. To skraca opóźnienia i ogranicza przesyłanie danych. Taniej nie znaczy jednak pewniej. Wagi otwarte łatwo skopiować, zmienić im nazwę i podać za coś innego. Wspólnego standardu weryfikacji nie ma. Regulatorzy i platformy wciąż nie mają prostego sposobu, żeby powiązać wynik z konkretnym modelem.

Haczyk tkwi w tej dziesiątej części, która zostaje na modelu z czołówki. Ktoś musi zdecydować, które zadania się kwalifikują. Błędną decyzję taniej podjąć niż naprawić.

Wideo i embeddingi to dwa końce tej samej zmiany. Możliwości, które kiedyś stały za API, dziś dostaje się w postaci wag.

Pika udostępniła H3 Flex 29 października. To model do generowania wideo z otwartymi wagami dla profesjonalnych twórców, deweloperów i badaczy. Firma dotrenowała MiniMax H3, żeby generował wideo w sześciu krokach zamiast 50. Potem dopracowała model pod jakość obrazu i kontrolę twórczą. Adaptery modelu są na Hugging Face. Kod wnioskowania leży na GitHubie. Pika przedstawia model jako narzędzie do iteracji, nie do generowania za jednym podejściem. Tu właśnie zbierają się zaoszczędzone sekundy.

Pika otwiera generowanie wideo

Pika H3 Flex obsługuje generowanie z tekstu, z obrazu i na podstawie referencji.

Twórcy mogą dostarczyć do 12 plików referencyjnych: obrazów, wideo i dźwięku. W przykładzie Piki jeden obraz ustala postać. Fotografia ustawia otoczenie. Klip pokazuje zamierzony ruch kamery. Plik audio niesie dźwięk. Rodzima rozdzielczość wyjściowa to 480p i 768p. Usługi hostowane przez Pikę rozciągają ją do 1080p, 2K i 4K (2000 i 4000 pikseli). Wygenerowane wideo ma zsynchronizowany dźwięk stereo. Hostowane API udostępnia pięć osobnych ścieżek audio.

Pika twierdzi, że 15-sekundowy klip w 768p z dźwiękiem zajmuje około siedmiu sekund obliczeń transformera w kontrolowanym teście porównawczym. To czas obliczeń, nie czas od początku do końca. Przetwarzanie referencji, dekodowanie, narzut usługi i wykańczanie w wyższej rozdzielczości dokładają się do czekania.

Mniej kroków skraca pętlę między próbami. Twórcy mogą sprawdzać prompty, ruchy kamery i postacie z krótszym czekaniem między iteracjami.

Mniejsze modele multimodalne trafiają na urządzenia

Zespół EmbeddingGemma w Google poszedł w drugą stronę, jeśli chodzi o rozmiar. EmbeddingGemma 2 z 744 mln parametrów koduje tekst, obrazy, dźwięk, wideo i ich kombinacje w jedną przestrzeń embeddingów o 768 wymiarach. Budżet dzieli się na 271 mln parametrów szkieletu tekstowego, 167 mln kodera wizji i 305 mln kodera dźwięku. Liczby dla urządzeń pochodzą z Pixel 11 Pro. Wariant skwantyzowany Q4_C, obsługujący tylko tekst, sięga tam 191 MB. Pełny stos multimodalny zajmuje 567 MB. Wyszukiwanie dźwięku natywnie osiąga 69,54 MRR@10. Dla porównania wcześniejszy potok EG1 ASR plus tekst w Google dawał 50,95. Praca twierdzi, że model bije systemy specjalistyczne i modele od dwóch do dwunastu razy większe w testach multimodalnych.

Matryoshka Representation Learning pozwala przycinać embedding do 128 wymiarów. Firmy pracujące tylko na tekście mogą pominąć pozostałe wieże.

Rozmiar daje przenośność, nie rozumowanie. Opublikowane wyniki to testy wyszukiwania, nie testy generowania.

Weryfikacja i bezpieczeństwo zostają w tyle za premierami

Anthropic buduje system otwartego oprogramowania. Ma dowodzić, który model wytworzył dany wynik.

Wpis na blogu z 3 listopada opisuje system FlashProve. Wymagałby od laboratoriów publikowania odcisku każdego modelu. Laboratoria mogłyby potem dopasować ten odcisk do wyników i sprawdzić go kryptograficznie. Odcisk nie ujawnia wag modelu. Komercyjne laboratoria mogłyby go opublikować bez oddawania najcenniejszego zasobu. Anthropic opublikowała specyfikację i działający kod na GitHubie. Podała też, że nie planuje wdrażać systemu u siebie ani w żadnym innym laboratorium.

Badanie Uniwersytetu w Hongkongu podaje liczby dla luki w bezpieczeństwie. Seedance 2.0 Pro od ByteDance wygrał ranking jakości obrazu w tym badaniu z wynikiem 3,84 na 5. Veo 3.1 od Google DeepMind zdobył 3,47. Sora 2 Pro od OpenAI zdobyła 3,27. Seedance prowadził też w spójności obrazu, realizmie fizycznym, jakości estetycznej i zgodności z poleceniami. Słabiej wypadł w bezpieczeństwie. To samo badanie dało mu szóste miejsce na 11 modeli pod względem blokowania szkodliwych treści. Badaniem kierował Zhenhui Jack Jiang, profesor innowacji i zarządzania informacją na wydziale biznesowym tej uczelni.

Anthropic opisuje prace nad FlashProve jako postęp częściowy. Prosi innych, żeby wzięli go i ulepszyli. Żadne laboratorium nie zobowiązało się do publikowania odcisków. Daty wdrożenia nie ma.