Innodata otwiera laboratorium przechwytywania ruchu, a Factory wyrzuca doradcę zarządu za szpiegostwo

Innodata Inc. poinformowała 30 września, że otworzyła laboratorium badawczo-rozwojowe do przechwytywania danych ruchu na potrzeby trenowania fizycznej AI, podaje The Robot Report. Firma z Ridgefield Park w New Jersey twierdzi, że placówka rejestruje ruch 3D bezpośrednio z ciał, ludzkich lub mechanicznych, zamiast wnioskować go z dwuwymiarowego wideo.

Na tym opiera się cała oferta. "Nie ma żadnego zamiennika dla bezpośredniego przechwytywania ruchu w 3D", powiedział The Robot Report Franklin Tanner, wiceprezes Innodaty ds. robotyki i fizycznej AI. "Kiedy model widzenia komputerowego próbuje zrozumieć dwuwymiarową siatkę pikseli, błędy są nieuniknione."

Laboratorium powstało z Viconem, firmą zajmującą się przechwytywaniem ruchu, która nadal świadczy konsultacje techniczne. Wyposażono je w kamery śledzące z podczerwienią optyczną, które według Innodaty mierzą ruch z dokładnością do poziomu poniżej milimetra. Założona w 1988 roku Innodata przez większość swojego istnienia zajmowała się inżynierią danych. Teraz chce sprzedawać tę kompetencję zespołom robotycznym, które nie są w stanie same wygenerować wystarczającej ilości danych z interakcji w realnym świecie.

Problem z danymi, którego nikt nie rozwiązał

Duże modele językowe dostały darmowy obiad: internet. Roboty nie. Tanner opisuje tę lukę bez ogródek. "Fizyczna AI musi zapracować na swoje tokeny po jednej interakcji naraz, a każda z nich musi być przemyślana", powiedział The Robot Report.

To realne ograniczenie, nie hasło marketingowe. Dane z teleoperacji zbiera się wolno i trudno je skalować, a same demonstracje niosą tempo ludzkiego operatora, które modele potem przyswajają i odtwarzają. Przechwytywanie w realnym świecie ma własne tryby awarii: Tanner zauważył, że jeśli ktoś upuści nóż podczas sesji zbierania danych, może odsunąć się i wyłączyć urządzenie, zakładając, że popełnił błąd. Najbardziej wartościowe dane to więc te, które ludzie instynktownie wyrzucają.

Innodata twierdzi, że zbiera dane z humanoidów, sprzętu teleoperowanego, systemów noszonych, zestawów czujników, chwytaków Universal Manipulator Interface i innych multimodalnych konfiguracji, a następnie używa cyfrowych bliźniaków do generowania przypadków brzegowych. Symulacja jest mnożnikiem. "Sedno polega na tym, jak stworzyć wystarczająco dużo danych z realnego świata i zasiać nimi symulację?", pytał Tanner, wskazując środowisko Cosmos firmy NVIDIA jako przykład tłumaczenia rzeczywistości na symulację, które jest już wystarczająco dobre, by przetwarzać środowiska.

"Danych z interakcji w realnym świecie jest za mało, a te, które istnieją, są drogie i powstają wolno", stwierdził Rahul Singhal, prezes Innodaty. "Ta placówka usuwa tę barierę."

Jedna luka pozostaje niezamknięta, jak przyznaje sam Tanner. "Nie mamy teraz danych treningowych, w których ludzie i roboty wchodzą ze sobą w interakcje", powiedział The Robot Report, dodając, że oprzyrządowanie wielu współpracujących ze sobą agentów to jedno z zadań laboratorium.

Logika biznesowa jest prosta. Humanoidalne roboty przechodzą od filmów demonstracyjnych do wdrożeń pilotażowych, a każdy zespół wdrażający takiego robota potrzebuje danych ruchu, które uogólniają się poza stałą komórkę. Innodata zakłada, że kto dostarczy te dane, ten kontroluje wąskie gardło. To zakład o rynek, na którym nie ma jeszcze standardowych testów jakości danych dla fizycznej AI.

Tymczasem w kodowaniu AI: doradca zarządu, rywal i dwie wersje wydarzeń

Ten sam 30 września przyniósł zupełnie inną historię z pogranicza robotyki. Matan Grinberg, współzałożyciel i prezes startupu AI do kodowania Factory, napisał we wpisie na X, że zwolnił inwestora VC Chrisa Degnana ze stanowiska doradcy zarządu, zarzucając mu przekazanie poufnych informacji największemu konkurentowi Factory, firmie Cognition, podaje TechCrunch.

Dwie godziny później Degnan ogłosił na X i LinkedIn, że dołączył do Cognition jako dyrektor ds. przychodów. Następnie zaprzeczył zarzutom, twierdząc, że nie został zwolniony, lecz sam odszedł po tym, jak powiedział Grinbergowi, że przyjmuje tę pracę. Degnan był pierwszym pracownikiem działu sprzedaży Snowflake i przez 11 lat pełnił funkcję dyrektora ds. przychodów. Od pięciu miesięcy jest partnerem w RPT Partners, inwestorze Factory.

Relacja Grinberga, cytowana przez TechCrunch, jest taka, że Degnan wcześniej opisał "swobodną" rozmowę z kadrą kierowniczą Cognition i zapewnił go, że nie jest zainteresowany pracą dla konkurenta, mówiąc, że "zarobił zbyt dużo pieniędzy" i jest "zbyt leniwy", by iść do Cognition. W poniedziałek Degnan ujawnił trwające rozmowy. Grinberg twierdzi, że zwolnił go we wtorek.

Degnan kwestionuje ten przebieg wydarzeń. Twierdzi, że ostatnie posiedzenie zarządu Factory, w którym uczestniczył, odbyło się tygodnie przed tym, zanim "kiedykolwiek rozmawiał" z Cognition, i że nie przekazał poufnych informacji. Mówi też, że gdy powiedział Grinbergowi, że odchodzi, Grinberg zaproponował mu pełnoetatową pracę w Factory, którą odrzucił.

Ta historia ma znaczenie wykraczające poza jedną salę zarządu, bo pokazuje, jak pogmatwane stało się inwestowanie w AI. Khosla Ventures jest inwestorem zarówno w Cognition, jak i w Factory. Vinod Khosla nazwał Factory "walczącym konkurentem drugiej kategorii" i oskarżył Grinberga o kłamstwo w sprawie zwolnienia. Partner Khosla Ventures Keith Rabois napisał, że "rozmowa kwalifikacyjna u konkurenta podczas uczestnictwa w posiedzeniach i kolacjach zarządu jest sama w sobie nieetyczna". Prezes Cognition Scott Wu powiedział, że jego firma "nie jest zainteresowana" informacjami Factory, relacjonuje TechCrunch. Trzyletnia Factory pozyskała w tym miesiącu 200 000 000 dolarów przy wycenie 5 000 000 000 dolarów, a jej klientami są m.in. Nvidia, Blackstone, Royal Bank of Canada, Palo Alto Networks, Adobe i T-Mobile. Cognition, twórca agenta kodującego Devin, pozyskała w tym miesiącu 2 000 000 000 dolarów przy wycenie 48 000 000 000 dolarów.

Testy są nierówne, a liczby to pokazują

Pod informacjami o finansowaniu kryje się problem z pomiarami, który powinien zaniepokoić każdego, kto kupuje obietnice dotyczące możliwości robotów. Fig Inc. opublikowała 30 września ocenę porównującą czołowe modele w zadaniach automatyzacji sieci i zadaniach fizycznych. Jej główny wniosek jest taki, że średnie z testów ukrywają prawie wszystko, co użyteczne.

Badanie obejmuje siedem modeli na 177 zadaniach VisualWebArena w zamkniętej pętli, rozłożonych na trzy strony internetowe, oraz trzy modele w czterech offline'owych domenach fizycznych: Bench2Drive, VLABench, IndEgo i Assembly101. Dla każdej testowanej pary modeli autorzy podają, że słabszy model rozwiązuje co najmniej jedno zadanie, którego nie udaje się rozwiązać mocniejszemu. Rozrzut jednego modelu na trzech stronach odpowiada rozrzutowi siedmiu modeli na jednej stronie. Etykiety trudności dołączone do testów tylko słabo pokrywają się z sukcesami modeli.

Fig Inc. podaje też, że aktualizacja modelu może pozostawić średnią niemal bez zmian, choć wiele pojedynczych zadań zmienia wynik, a aktualizacja, która podnosi średnią, wciąż przegrywa zadania, które rozwiązywał starszy model. Zespół udostępnił zbiór danych o nazwie RIDGE z wynikami na poziomie pojedynczych pozycji i śladami modeli. Praktyczna konsekwencja dla kupujących robotykę jest niewygodna: wynik z nagłówka to nie decyzja o wdrożeniu.

Co faktycznie trafia do sprzedaży

Przeciwwagą dla tego wszystkiego jest ktoś, kto wdrażał sprzęt, a nie testował go na papierze. Rongzhong Li, twórca OpenCat, Nybble i Bittle, napisał na Hackster, że Petoi sprzedała ponad 30 000 czworonogów od kampanii Nybble w 2018 roku, a jego trzeci produkt, Quaddle, jest na Kickstarterze od 99 dolarów.

Jego argument jest taki, że najlepiej dostarczanym produktem tej branży były filmy. Nie traktuje tego jako oszustwa. Jeśli postrzega się wiele robotów jako nowoczesną formę teatru lalek, pisze, wszystko staje się bardziej zrozumiałe, a zawody robotyczne, które ludzie oglądają, służą temu samemu co igrzyska olimpijskie: pokazaniu, co ciało potrafi osiągnąć w stałych granicach fizycznych. Ale inspiracja może nie być trwała, ostrzega, a wideo generowane przez AI potrafi teraz tworzyć wizualne cuda przy zerowym koszcie krańcowym. Jeśli robotyka ma być czymś innym niż gałęzią przemysłu wideo, musi dostarczać rzeczywiste produkty.

Podaje jeden cichy sygnał, który to pokazuje: porównać cenę używanego egzemplarza imponującego robota z kosztem jego materiałów kilka miesięcy po dostawie. Żadna z tych liczb nie oddaje pełnej wartości produktu, pisze, ale relacja między nimi może ujawnić, ile praktycznej wartości rynek wciąż widzi, gdy nowość się znudzi.

Zestaw te trzy historie razem, a kształt chwili staje się jasny. Innodata sprzedaje warstwę danych, której potrzebuje wdrażanie humanoidów. Fig Inc. dokumentuje, że twierdzenia o możliwościach modeli są znacznie bardziej nierówne, niż sugerują rankingi. Li przypomina wszystkim, że liczy się ten wynik, za który klienci płacą z własnej kieszeni. Factory i Cognition walczą o ludzi i informacje, bo stawka w oprogramowaniu agentowym jest już ogromna. Dla humanoidalnych robotów równoważna walka jest jeszcze przed nami i rozegra się o dane, nie o dema.