Innodata apre un laboratorio di motion capture, Factory caccia il consulente del board per accuse di spionaggio

Innodata Inc. ha annunciato il 30 settembre di aver aperto un laboratorio di ricerca e sviluppo per catturare dati di movimento da usare nell'addestramento della physical AI, riferisce The Robot Report. L'azienda di Ridgefield Park, nel New Jersey, sostiene che la struttura registra il movimento 3D direttamente dai corpi, umani o meccanici, invece di ricavarlo da video 2D.

Il messaggio è tutto qui. "Non c'è alcun sostituto della cattura diretta del movimento in 3D", ha detto a The Robot Report Franklin Tanner, vicepresidente di Innodata per la robotica e la physical AI. "Quando un modello di computer vision prova a dare un senso a una griglia 2D di pixel, gli errori si insinuano inevitabilmente."

Il laboratorio è stato realizzato con Vicon, azienda di motion capture che continua a fornire consulenza tecnica, ed è dotato di telecamere a infrarossi per il tracciamento ottico che secondo Innodata misurano il movimento fino a livello submillimetrico. Fondata nel 1988, Innodata ha passato gran parte della sua storia nell'ingegneria dei dati. Ora vuole vendere questa capacità ai team di robotica che non riescono a produrre da soli abbastanza dati di interazione nel mondo reale.

Il problema dei dati che nessuno ha risolto

I grandi modelli linguistici hanno avuto un pranzo gratis: internet. I robot no. Tanner descrive il divario senza giri di parole. "La physical AI deve guadagnarsi i suoi token un'interazione alla volta, e devono essere interazioni deliberate", ha detto a The Robot Report.

È un vincolo reale, non uno slogan. I dati di teleoperazione richiedono tempo per essere raccolti e sono costosi da scalare. Le dimostrazioni stesse portano con sé il ritmo dell'operatore umano, che i modelli poi imparano e riproducono. Anche la cattura nel mondo reale ha i suoi modi di fallire: Tanner ha osservato che se durante una sessione di raccolta dati una persona lascia cadere un coltello, può fare un passo indietro e spegnere il dispositivo, convinta di aver sbagliato. I dati più utili, in altre parole, sono quelli che le persone scartano d'istinto.

Innodata dice di catturare dati su umanoidi, hardware teleoperato, sistemi indossabili, postazioni di sensori, pinze Universal Manipulator Interface e altre configurazioni multimodali. Poi usa i gemelli digitali per generare casi limite. La simulazione è il moltiplicatore. "Il punto è come possiamo creare abbastanza dati dal mondo reale e poi usarli per alimentare una simulazione", ha detto Tanner, indicando l'ambiente Cosmos di NVIDIA come esempio di traduzione dal reale al simulato ormai abbastanza buona da permutare gli ambienti.

"Non ci sono abbastanza dati di interazione nel mondo reale, e quelli che esistono sono costosi e lenti da produrre", ha dichiarato Rahul Singhal, CEO di Innodata. "Questa struttura abbatte quel muro."

Per ammissione dello stesso Tanner resta una lacuna. "Al momento non abbiamo dati di addestramento in cui esseri umani e robot interagiscono", ha detto a The Robot Report, aggiungendo che strumentare più agenti perché lavorino insieme è una delle cose su cui il laboratorio sta lavorando.

La logica commerciale è lineare. I robot umanoidi stanno passando dai video dimostrativi alle prime implementazioni pilota, e ogni team che ne schiera uno ha bisogno di dati di movimento che generalizzino oltre una cella fissa. Innodata scommette che chi fornirà quei dati controllerà un collo di bottiglia. È una scommessa su un mercato che non ha ancora benchmark standard per la qualità dei dati di physical AI.

Intanto nel coding con l'AI: un consulente del board, una rivale e due versioni dei fatti

Lo stesso 30 settembre ha prodotto una storia molto diversa, sempre ai margini della robotica. Matan Grinberg, cofondatore e CEO della startup di coding con l'AI Factory, ha scritto in un post su X di aver cacciato dal ruolo di consulente del board il venture capitalist Chris Degnan. Secondo TechCrunch, Grinberg sostiene che Degnan ha condiviso informazioni riservate con la maggiore concorrente di Factory, Cognition.

Due ore dopo, Degnan ha annunciato su X e LinkedIn di essere entrato in Cognition come chief revenue officer. Poi ha respinto l'accusa, dicendo di non essere stato licenziato ma di essersi dimesso dopo aver comunicato a Grinberg che avrebbe accettato quel lavoro. Degnan è stato il primo assunto nel reparto vendite di Snowflake e per 11 anni il suo chief revenue officer. Negli ultimi cinque mesi è stato partner di RPT Partners, investitore in Factory.

La versione di Grinberg, come riportata da TechCrunch, è che Degnan gli avesse raccontato in precedenza di una conversazione "informale" con un dirigente di Cognition e gli avesse assicurato di non avere alcun interesse a lavorare per la concorrente, dicendo di aver "guadagnato fin troppo" e di essere "troppo pigro" per andare in Cognition. Lunedì Degnan ha rivelato trattative in corso. Grinberg sostiene di averlo cacciato martedì.

Degnan contesta quella cronologia. Dice che l'ultima riunione del board di Factory a cui ha partecipato risale a settimane prima di aver "mai parlato" con Cognition, e che non ha condiviso informazioni riservate. Dice anche che, quando ha comunicato a Grinberg le sue dimissioni, Grinberg gli ha offerto un posto a tempo pieno in Factory, che lui ha rifiutato.

La vicenda conta al di là della sala riunioni di una singola startup, perché mostra quanto siano intricati gli intrecci degli investimenti nell'AI. Khosla Ventures è investitore sia in Cognition sia in Factory. Vinod Khosla ha definito Factory una "concorrente di secondo livello in difficoltà" e ha accusato Grinberg di mentire sul licenziamento. Keith Rabois, partner di Khosla Ventures, ha scritto che "è di per sé etico fare anche solo un colloquio presso un concorrente mentre si partecipano a riunioni e cene del board". Scott Wu, CEO di Cognition, ha detto che la sua azienda non ha "alcun interesse" nelle informazioni di Factory, secondo il resoconto di TechCrunch. Factory, fondata tre anni fa, questo mese ha raccolto 200 milioni di dollari su una valutazione di 5 miliardi di dollari, con clienti tra cui Nvidia, Blackstone, Royal Bank of Canada, Palo Alto Networks, Adobe e T-Mobile. Cognition, che produce l'agente di coding Devin, questo mese ha raccolto 2 miliardi di dollari su una valutazione di 48 miliardi di dollari.

I benchmark sono frastagliati, e i numeri lo dimostrano

Sotto le notizie sui finanziamenti c'è un problema di misurazione che dovrebbe preoccupare chiunque compri dichiarazioni sulle capacità dei robot. Il 30 settembre Fig Inc. ha pubblicato una valutazione che confronta modelli di frontiera su automazione web e compiti fisici. La conclusione centrale è che le medie dei benchmark nascondono quasi tutto ciò che è utile.

Lo studio copre sette modelli su 177 attività a ciclo chiuso di VisualWebArena distribuite su tre siti web, più tre modelli su quattro domini fisici offline: Bench2Drive, VLABench, IndEgo e Assembly101. Per ogni coppia di modelli testata, gli autori riportano che il modello più debole risolve almeno un compito che il più forte sbaglia. La dispersione di un singolo modello su tre siti equivale alla dispersione di sette modelli su un solo sito. Le etichette di difficoltà fornite con i benchmark seguono solo debolmente il successo dei modelli.

Fig Inc. riporta anche che un aggiornamento di un modello può lasciare la media quasi invariata mentre molte singole attività si ribaltano. E un aggiornamento che alza la media perde comunque compiti che il modello precedente risolveva. Il team ha rilasciato un dataset chiamato RIDGE con risultati a livello di singolo item e tracce dei modelli. L'implicazione pratica per chi compra robotica è scomoda: un punteggio di testata non è una decisione di implementazione.

Cosa arriva davvero sul mercato

Il contrappeso a tutto questo viene da chi ha spedito hardware invece di misurarlo. Rongzhong Li, l'artefice di OpenCat, Nybble e Bittle, ha scritto su Hackster che Petoi ha consegnato più di 30.000 quadrupedi dalla campagna Nybble del 2018. Il suo terzo prodotto, Quaddle, è su Kickstarter a partire da 99 dollari.

La sua tesi è che il prodotto più distribuito del settore sono stati i video. Non lo considera una frode. Se si guardano molti robot come a una forma moderna di teatro dei burattini, scrive, tutto acquista più senso. E gli spettacoli di robotica che la gente segue hanno lo stesso scopo delle Olimpiadi: mostrare cosa può fare un corpo entro limiti fisici fissi. Ma l'ispirazione potrebbe non essere sostenibile, avverte, e il video generato dall'AI può ormai produrre miracoli visivi a costo marginale zero. Se la robotica vuole essere qualcosa di diverso da un ramo dell'industria del video, deve consegnare cose reali.

Indica un segnale silenzioso per capirlo: confrontare il prezzo dell'usato di un robot impressionante con il costo della sua distinta base qualche mese dopo la consegna. Nessuno dei due numeri cattura il valore pieno del prodotto, scrive, ma il rapporto tra i due può rivelare quanto valore pratico il mercato vede ancora quando l'effetto novità è svanito.

Mettendo insieme le tre storie, la forma del momento è chiara. Innodata vende lo strato di dati di cui l'implementazione degli umanoidi ha bisogno. Fig Inc. documenta che le dichiarazioni sulle capacità dei modelli sono molto più irregolari di quanto suggeriscano le classifiche. Li ricorda a tutti che il tabellone che conta è quello dei clienti che pagano di tasca propria. Factory e Cognition si contendono persone e informazioni perché la posta in gioco nel software agentico è già enorme. Per i robot umanoidi la battaglia equivalente è ancora davanti, e si combatterà sui dati, non sulle demo.