LiberAI pokazuje Liber-0. Model działania świata zdobywa 36,0% na 60 zadaniach GPT-6

Liber-0 zdobywa 36,0% w 600 próbach

LiberAI, startup z Pekinu, przedstawił Liber-0, który nazywa modelem działania świata. Model wytrenowano wstępnie na ponad 2,2 mln godzin ludzkich doświadczeń: z wideo z udziałem ludzi, ruchu dłoni nagrywanego rękawicą i dopasowania do ciała robota, podała firma.

LiberAI sprawdził Liber-0 na 60 zadaniach zaproponowanych przez GPT-6, czyli w zestawie osobnym od wewnętrznych testów porównawczych skalowania. W zestawie było 20 zadań typu podnieś i odłóż, 20 zadań manipulacji innej niż podnieś i odłóż oraz 20 trudnych zadań manipulacji innej niż podnieś i odłóż, wymagających dłuższych sekwencji. Liber-0 zdobył 63,5% w podnoszeniu i odkładaniu, 34,0% w pozostałej manipulacji i 10,5% w grupie trudnej. Ogólna skuteczność wyniosła 36,0% w 600 próbach.

Model wypadł najlepiej w podnoszeniu i odkładaniu, a najsłabiej w grupie łączącej trudniejszą manipulację z dłuższymi sekwencjami. LiberAI podał wyniki bez demonstracji robotów zbieranych specjalnie pod te zadania.

Co w tym teście znaczy zero-shot

LiberAI zawęża tutaj definicję zero-shot. Sprawdzany checkpoint nie był trenowany na demonstracjach robotów zbieranych specjalnie pod te zadania, podała firma. Pretrening nadal obejmował dane robotów. Ta definicja wciąż dopuszcza dane robotów na etapie pretreningu.

Przykłady to włożenie długopisu do piórnika, domknięcie szuflady oraz dłuższa sekwencja, w której długopis trafia do saszetki, a saszetka do szuflady.

Dlaczego LiberAI sięga po ludzkie doświadczenie

Manipulacja robotami opierała się na demonstracjach nagrywanych na konkretnym robocie pod konkretne zadanie, zwykle przez człowieka zdalnie sterującego maszyną. Takie dane dobrze pasują do wdrożenia, ale ich zbieranie bywa wolne i kosztowne, gdy nowe zadania albo nowe platformy wymagają kolejnych demonstracji, podała firma. Ludzka aktywność jest znacznie obfitsza, a jej duża część już istnieje na wideo.

Wideo z ludźmi nie przekłada się wprost na polecenia dla robota. Kamery stoją w różnych miejscach, pozy dłoni odtwarzane z wideo są zaszumione, a ciała ludzi poruszają się inaczej niż roboty, podała firma.

Liber-0 łączy ludzkie doświadczenie z działaniem robota na trzy sposoby. LiberSense Glove, system zbierania danych LiberAI, rejestruje ruchy dłoni bezpośrednio i pomaga powiązać wideo z ruchem, który za nim stoi. Platforma robotyczna LiberAI korzysta z widoku z kamer oraz ruchu dłoni, nadgarstka i pasa, które bliżej odpowiadają ruchowi człowieka. Unified Embodiment Representation dostarcza modelowi informacji o kształcie ciała i stawach, żeby mógł dopasować czynność do ciała, które ją wykonuje.

Model przewiduje jednocześnie przyszłe klatki wideo i działania. Dzięki temu uczy się ze zwykłego wideo bez etykiet działań, obok nagrań z rękawic i z robota, które zawierają zmierzony ruch.

Dane z rękawic wypełniają luki w demonstracjach robotów

Dane z rękawic mogą dodać zachowania, których brakuje w danych treningowych polityki robota. LiberAI trenował polityki, których demonstracje robotyczne obejmowały wyłącznie podnoszenie i odkładanie, a demonstracje z rękawic zawierały składanie, naciskanie i otwieranie. Wyniki mierzono wskaźnikiem postępu od 0 do 100, który zalicza częściowe wykonanie zadania, na czterech zadaniach podnieś i odłóż oraz sześciu zadaniach innej manipulacji.

Przy samych danych robota wskaźnik postępu w zadaniach innych niż podnieś i odłóż wyniósł 2,2. Dodanie nagrań tych czynności z rękawic podniosło go do 47,5. Dodanie nagrań z rękawic, które obejmowały też podnoszenie i odkładanie, dało 54,6, blisko 56,3, które uzyskała polityka trenowana na demonstracjach robotycznych wszystkich czynności. LiberAI zaznacza, że ten kontrolowany eksperyment jest osobny od zestawu 60 zadań: czynności występowały w demonstracjach z rękawic, ale nie w demonstracjach robotycznych używanych do trenowania polityk.

Dane z rękawic mogą ograniczyć liczbę demonstracji

Osobny eksperyment sprawdzał, czy nagrania z rękawic mogą zmniejszyć potrzebę demonstracji robotycznych. W ocenie na ośmiu zadaniach na platformie robotycznej LiberAI pełne pule danych robota i rękawic miały tyle samo demonstracji. Polityka trenowana na 25% puli robotycznej i 100% puli rękawic osiągnęła wskaźnik postępu 75,6. Polityka trenowana na 100% puli robotycznej zdobyła 72,8.

W tym układzie nagrania z rękawic dały porównywalny wynik przy 75% mniej demonstracji robotycznych. Oszczędność dotyczy wyłącznie demonstracji robotycznych, bo polityka mieszana i tak korzystała z pełnej puli rękawic. LiberAI podaje, że zbieranie danych rękawicą nie wymaga robota w każdym miejscu, więc doświadczenie można gromadzić od większej liczby osób, w większej liczbie miejsc i potencjalnie taniej.

Wewnętrzne testy i otwarte pytanie

Na wewnętrznych testach LiberAI wstępnie wytrenowany checkpoint zdobył 81,4 w podnoszeniu i odkładaniu oraz 72,3 w zadaniach innej manipulacji, gdy oceniano go bezpośrednio, podała firma. Te wewnętrzne liczby są wyższe niż wyniki zestawu 60 zadań, który LiberAI opisuje jako osobny test generalizacji.

Otwarte pytanie brzmi, czy wynik 36,0% utrzyma się poza zestawem 60 zadań zaproponowanych przez GPT-6. To ocena na zestawie 60 zadań. Twierdzenie LiberAI opiera się na przenoszeniu ludzkiego doświadczenia na działanie robota.