LiberAI presenta Liber-0, il world action model che segna 36,0% su 60 attività proposte da GPT-6

Liber-0 segna 36,0% su 600 prove

LiberAI, startup con sede a Pechino, ha introdotto Liber-0, che definisce un world action model. Il modello è stato preaddestrato su più di 2.200.000 ore di esperienza umana, unendo video di persone, movimenti della mano registrati con un guanto e allineamento tra corpi diversi, ha riferito l'azienda.

LiberAI ha valutato Liber-0 su 60 attività proposte da GPT-6, una suite separata dai suoi benchmark interni di scaling. La suite comprendeva 20 attività di pick-and-place, 20 attività di manipolazione diverse dal pick-and-place e 20 attività difficili, non di pick-and-place e a orizzonte lungo. Liber-0 ha ottenuto 63,5% nel pick-and-place, 34,0% nella manipolazione non di pick-and-place e 10,5% nel gruppo delle attività difficili e a orizzonte lungo. Il tasso di successo complessivo è stato del 36,0% su 600 prove.

Il modello è andato meglio nel pick-and-place e peggio nel gruppo che univa manipolazioni più difficili a sequenze più lunghe. LiberAI ha riportato i risultati senza dimostrazioni robotiche raccolte appositamente per quelle attività obiettivo.

Cosa significa zero-shot in questo test

Qui LiberAI restringe molto la definizione di zero-shot. Il checkpoint valutato non è stato addestrato su dimostrazioni robotiche raccolte appositamente per queste attività obiettivo, ha spiegato l'azienda. Il preaddestramento includeva comunque dati robotici. La definizione ammette quindi dati robotici nella fase di preaddestramento.

Tra gli esempi ci sono una penna infilata in un astuccio, un cassetto spinto fino a chiuderlo e una sequenza più lunga in cui una penna entra in una pochette e la pochette finisce in un cassetto.

Perché LiberAI usa l'esperienza umana

La manipolazione robotica si è basata su dimostrazioni registrate su uno specifico robot per uno specifico compito, di solito da una persona che teleoperava la macchina. Quei dati corrispondono bene all'impiego reale, ma raccoglierli può essere lento e costoso quando nuove attività o nuove piattaforme robotiche richiedono più dimostrazioni, secondo LiberAI. L'attività umana è molto più abbondante e in buona parte è già su video.

Il video di persone non si traduce direttamente in comandi per il robot. Le camere stanno in posizioni diverse, le pose delle mani stimate dal video sono rumorose e i corpi umani si muovono in modo diverso dai robot, ha spiegato LiberAI.

Liber-0 collega l'esperienza umana all'azione del robot in tre modi. LiberSense Glove, il sistema di raccolta dati di LiberAI, registra direttamente i movimenti della mano e aiuta a legare il video al movimento che lo produce. La piattaforma robotica di LiberAI usa viste delle camere più movimenti di mano, polso e vita che assomigliano di più al moto umano. Una Unified Embodiment Representation fornisce al modello forma del corpo e informazioni sulle articolazioni, così può adattare un'azione al corpo che la esegue.

Il modello prevede insieme i fotogrammi video futuri e le azioni. Così impara da video comuni senza etichette di azione, accanto a registrazioni con guanto e con robot che contengono movimenti misurati.

I dati del guanto colmano le lacune delle dimostrazioni robotiche

I dati del guanto possono aggiungere comportamenti che mancano ai dati di addestramento di una policy robotica. LiberAI ha addestrato policy le cui dimostrazioni robotiche coprivano solo il pick-and-place, mentre le dimostrazioni con guanto includevano piegare, premere e aprire. Le prestazioni sono state misurate con un punteggio di avanzamento da 0 a 100, che conta il completamento parziale, su quattro attività di pick-and-place e sei attività non di pick-and-place.

Con i soli dati robotici, il punteggio di avanzamento per le attività non di pick-and-place era 2,2. Aggiungendo le registrazioni con guanto di quelle azioni è salito a 47,5. Aggiungendo registrazioni con guanto che includevano anche il pick-and-place è salito a 54,6, vicino al 56,3 ottenuto da una policy addestrata su dimostrazioni robotiche di tutte le azioni. LiberAI ha precisato che questo esperimento controllato è separato dalla suite di 60 attività: le azioni comparivano nelle dimostrazioni con guanto ma non in quelle robotiche delle policy.

I dati del guanto possono ridurre le dimostrazioni robotiche

Un altro esperimento ha verificato se le registrazioni con guanto possono ridurre il bisogno di dimostrazioni robotiche. In una valutazione su otto attività sulla piattaforma robotica di LiberAI, i pool completi di dati robotici e con guanto contenevano lo stesso numero di dimostrazioni. Una policy addestrata sul 25% del pool robotico più il 100% del pool con guanto ha raggiunto un punteggio di avanzamento di 75,6. Una policy addestrata sul 100% del pool robotico ha segnato 72,8.

In quella configurazione, le registrazioni con guanto hanno dato prestazioni comparabili con il 75% in meno di dimostrazioni robotiche. Il risparmio riguarda solo le dimostrazioni robotiche, perché la policy mista usava comunque l'intero pool con guanto. LiberAI ha detto che la raccolta con guanto non richiede un robot in ogni sede, quindi l'esperienza si può raccogliere da più persone, in più luoghi e potenzialmente a costi inferiori.

Benchmark interni e la questione aperta

Sui benchmark interni di LiberAI, il checkpoint preaddestrato ha segnato 81,4 nel pick-and-place e 72,3 nelle attività non di pick-and-place se valutato direttamente, secondo l'azienda. Quei numeri interni sono più alti dei risultati della suite di 60 attività, che LiberAI ha descritto come un test separato di generalizzazione.

La questione aperta è se il 36,0% regga fuori da una suite di 60 attività proposta da GPT-6. Il risultato è una valutazione su una suite di 60 attività. La tesi di LiberAI si basa sul trasferimento dell'esperienza umana all'azione del robot.