LiberAI dévoile Liber-0, un modèle d'action sur le monde qui atteint 36,0 % sur 60 tâches proposées par GPT-6

Liber-0 obtient 36,0 % sur 600 essais

LiberAI, une startup de Pékin, présente Liber-0, qu'elle qualifie de modèle d'action sur le monde. Le modèle a été préentraîné sur plus de 2,2 millions d'heures d'expérience humaine, en combinant des vidéos de personnes, des mouvements de main enregistrés par gant et un alignement entre embodiments, indique l'entreprise.

LiberAI a évalué Liber-0 sur 60 tâches proposées par GPT-6, une suite distincte de ses benchmarks internes de montée en charge. Elle comprenait 20 tâches de prise et dépose, 20 tâches de manipulation autres que prise et dépose, et 20 tâches difficiles de manipulation hors prise et dépose sur un horizon long. Liber-0 a atteint 63,5 % en prise et dépose, 34,0 % en manipulation hors prise et dépose et 10,5 % dans le groupe des tâches difficiles hors prise et dépose sur horizon long. Son taux de réussite global s'établit à 36,0 % sur 600 essais.

Le modèle réussit le mieux en prise et dépose et le moins bien dans le groupe qui combine une manipulation plus difficile et des séquences plus longues. LiberAI rapporte ces résultats sans démonstrations robotiques collectées spécialement pour ces tâches cibles.

Ce que zero-shot signifie dans ce test

LiberAI retient ici une définition étroite du zero-shot. Le checkpoint évalué n'a pas été entraîné sur des démonstrations robotiques collectées spécialement pour ces tâches cibles, précise l'entreprise. Le préentraînement comportait néanmoins des données robotiques. Cette définition autorise donc des données robotiques pendant le préentraînement.

Les exemples incluent le rangement d'un stylo dans une trousse, la fermeture d'un tiroir par poussée, et une séquence plus longue où un stylo entre dans une pochette puis la pochette dans un tiroir.

Pourquoi LiberAI s'appuie sur l'expérience humaine

La manipulation robotique a reposé sur des démonstrations enregistrées sur un robot donné pour une tâche donnée, le plus souvent par une personne qui téléopère la machine. Ces données collent au déploiement, mais leur collecte peut être lente et coûteuse quand de nouvelles tâches ou plateformes robotiques exigent davantage de démonstrations, selon LiberAI. L'activité humaine est bien plus abondante, et une grande partie existe déjà en vidéo.

Une vidéo de personne ne se traduit pas directement en commandes robotiques. Les caméras sont placées à des endroits différents, les poses de main estimées à partir de la vidéo sont bruitées, et le corps humain bouge autrement qu'un robot, explique LiberAI.

Liber-0 relie l'expérience humaine à l'action robotique de trois façons. LiberSense Glove, le système de collecte de données de LiberAI, enregistre directement les mouvements de main et aide à rattacher la vidéo au mouvement qui les produit. La plateforme robotique de LiberAI utilise des vues caméra ainsi que des mouvements de main, de poignet et de taille qui se rapprochent du mouvement humain. Une représentation unifiée des embodiments fournit au modèle la forme du corps et les informations d'articulation, pour qu'il adapte une action au corps qui l'exécute.

Le modèle prédit ensemble les images vidéo futures et les actions. Il peut ainsi apprendre à partir de vidéos ordinaires sans étiquettes d'action, en plus des enregistrements par gant et des enregistrements robotiques qui contiennent le mouvement mesuré.

Les données de gant comblent les manques des démonstrations robotiques

Les données de gant peuvent ajouter des comportements absents des données d'entraînement d'une politique robotique. LiberAI a entraîné des politiques dont les démonstrations robotiques ne couvraient que la prise et dépose, tandis que les démonstrations au gant incluaient le pliage, la pression et l'ouverture. La performance a été mesurée par un score de progression de 0 à 100, qui crédite l'achèvement partiel, sur quatre tâches de prise et dépose et six tâches hors prise et dépose.

Avec les seules données robotiques, le score de progression hors prise et dépose était de 2,2. L'ajout des enregistrements au gant de ces actions l'a porté à 47,5. L'ajout d'enregistrements au gant incluant aussi la prise et dépose l'a porté à 54,6, proche des 56,3 obtenus par une politique entraînée sur des démonstrations robotiques de toutes les actions. LiberAI précise que cette expérience contrôlée est distincte de la suite de 60 tâches : les actions figuraient dans les démonstrations au gant mais pas dans les démonstrations robotiques des politiques.

Les données de gant peuvent réduire les démonstrations robotiques

Une autre expérience a testé si les enregistrements au gant peuvent réduire le besoin de démonstrations robotiques. Dans une évaluation à huit tâches sur la plateforme robotique de LiberAI, les pools complets de démonstrations robotiques et de gant contenaient le même nombre de démonstrations. Une politique entraînée sur 25 % du pool robotique plus 100 % du pool de gant a atteint un score de progression de 75,6. Une politique entraînée sur 100 % du pool robotique a obtenu 72,8.

Dans ce cadre, les enregistrements au gant ont offert une performance comparable avec 75 % de démonstrations robotiques en moins. L'économie porte spécifiquement sur les démonstrations robotiques, car la politique mixte utilisait toujours le pool de gant complet. LiberAI indique que la collecte au gant ne nécessite pas de robot sur chaque site, si bien que l'expérience peut être recueillie auprès de plus de personnes, dans plus d'endroits et à un coût potentiellement plus faible.

Benchmarks internes et question ouverte

Sur les benchmarks internes de LiberAI, le checkpoint préentraîné a obtenu 81,4 en prise et dépose et 72,3 sur les tâches hors prise et dépose en évaluation directe, selon LiberAI. Ces chiffres internes dépassent les résultats de la suite de 60 tâches, que LiberAI présente comme un test de généralisation distinct.

La question ouverte est de savoir si le résultat de 36,0 % tient en dehors d'une suite de 60 tâches proposée par GPT-6. Il s'agit d'une évaluation sur une suite de 60 tâches. L'affirmation de LiberAI repose sur le transfert de l'expérience humaine vers l'action robotique.