DexAgent利用人类示范视频自动生成机器人手部动作学习数据

研究背景

人类视频是用以教导机器人手部动作的丰富资源。然而，现有流程依赖于预设程序，难以处理关节型物体或易变形物体等具有多样化属性的对象。

方法

DexAgent经历了视频理解、基于物理属性的仿真重建、机器人轨迹优化以及机器人数据生成这四个步骤。在每个步骤中，它会从工具箱中选择并使用技术，或在必要时创建新技术，并且属性验证器会检查结果以防止错误扩散到下一个阶段。在最后阶段，它会改变仿真中的物体和机器人状态，从单一视频中生成多种动作，并通过更改屏幕纹理来帮助过渡到真实的机器人环境。

主要结果

据报道，在真实环境的11个任务中，使用DexAgent生成的数据训练出的策略比竞争基准方法高出3.5倍的成功率。新创建的技术和验证器会保留在工具箱中并被重复使用，这说明处理的视频越多，处理时间就会越短。

局限与待确认之处

摘要中未给出绝对成功率数值、对比方法的具体内容、处理时间缩短的定量大小以及计算成本。此外，仅凭摘要无法确认11项任务的详细清单以及在各种环境中的泛化程度。

术语解释

• Human2Sim2Robot — 指人类视频经过虚拟仿真后应用于实际机器人学习的整个流程。
• エージェント(agentic) — 指能够根据目标自主选择工具、判断步骤并处理事务的AI系统。
• 轨迹(trajectory) — 机器人手臂或手部随时间移动的路径和姿态的记录。
• 策略(policy) — 机器人根据当前情况决定下一步行动的已学习规则或模型。
• sim-to-real 迁移 — 将在计算机仿真中学习到的成果迁移，使其也能在真实的机器人环境中良好运作。