LiberAI发布Liber-0世界动作模型，在60项GPT-6任务上得分36.0%

Liber-0在600次试验中得分36.0%

北京初创公司LiberAI推出了Liber-0，称其为世界动作模型。公司表示，该模型在超过220万小时的人类经验数据上完成预训练，数据来源包括人类视频、手套记录的手部动作以及本体对齐。

LiberAI用GPT-6提出的60项任务评估Liber-0，这套测试独立于公司内部的扩展性基准。测试包含20项抓取放置任务、20项非抓取放置的操作任务，以及20项难度更高的非抓取放置长时序任务。Liber-0在抓取放置上得分63.5%，在非抓取放置操作上得分34.0%，在难度更高的非抓取放置长时序组上得分10.5%。600次试验的整体成功率为36.0%。

模型在抓取放置上表现最好，在把更难操作与更长序列结合的那一组上最弱。LiberAI称，这些结果是在没有专门为目标任务采集机器人示范的情况下取得的。

这次测试中的零样本指什么

LiberAI在这里对零样本的定义很窄。公司表示，受评估的检查点没有在这些目标任务专门采集的机器人示范上训练过。预训练仍然包含机器人数据。这个定义依然允许预训练阶段使用机器人数据。

示例包括把笔放进笔袋、把抽屉推上，以及一段更长的序列：笔放进袋子，袋子再放进抽屉。

LiberAI为何使用人类经验

机器人操作一直依赖在特定机器人上为特定任务录制的示范，通常由人遥操作机器完成。这类数据与部署场景高度吻合，但据LiberAI称，当新任务或新机器人平台需要更多示范时，采集过程可能又慢又贵。人类活动要丰富得多，其中很大一部分已经存在于视频里。

人类视频无法直接转换成机器人指令。LiberAI表示，摄像头位置各不相同，从视频估计出的手部姿态带有噪声，人体运动方式也与机器人不同。

Liber-0用三种方式把人类经验与机器人动作连接起来。LiberAI的数据采集系统LiberSense Glove直接记录手部动作，帮助把视频与其背后的运动对应起来。LiberAI的机器人平台使用摄像头视角，加上更接近人类运动的手、腕和腰部动作。统一本体表示则为模型提供体型和关节信息，使其能根据执行动作的身体调整动作。

模型同时预测未来的视频帧和动作。这样它就能从没有动作标签的普通视频中学习，也能利用带有实测运动的手套记录和机器人记录。

手套数据弥补机器人示范的缺口

手套数据可以补充机器人策略训练数据中缺失的行为。LiberAI训练的策略，其机器人示范只覆盖抓取放置，而手套示范包含折叠、按压和打开。性能用0到100的进度分衡量，部分完成也计分，测试覆盖四项抓取放置任务和六项非抓取放置任务。

只用机器人数据时，非抓取放置任务的进度分为2.2。加入这些动作的手套记录后，分数升到47.5。再加入同样包含抓取放置的手套记录后，升到54.6，接近用全部动作的机器人示范训练出的策略所得的56.3。LiberAI表示，这一受控实验与60项任务测试相互独立：这些动作出现在手套示范中，但不在策略的机器人示范里。

手套数据可以减少机器人示范

另一项实验检验手套记录能否减少对机器人示范的需求。在LiberAI机器人平台上进行的八任务评估中，完整的机器人和手套数据池示范数量相同。用25%机器人数据池加100%手套数据池训练的策略，进度分为75.6。用100%机器人数据池训练的策略得分为72.8。

在这一设定下，手套记录在机器人示范减少75%的情况下取得了相当的性能。节省只针对机器人示范，因为混合策略仍然使用了完整的手套数据池。LiberAI表示，手套采集不需要每个站点都配备机器人，因此可以从更多人、更多地点收集经验，成本也可能更低。

内部基准与悬而未决的问题

据LiberAI称，在内部基准上直接评估时，预训练检查点在抓取放置上得分81.4，在非抓取放置任务上得分72.3。这些内部数字高于60项任务测试的结果，LiberAI称后者是对泛化能力的独立检验。

悬而未决的问题是，36.0%这一结果能否在GPT-6提出的60项任务测试之外成立。该结果只是在一套60项任务测试上的评估。LiberAI的主张建立在把人类经验迁移到机器人动作之上。