利用AI通过少量真实视频扩展人形机器人搬运学习

研究背景

向 humanoid 机器人展示人类动作以教授其搬运物品等技术的方法，被认为是通往通用机器人的有前景的途径。然而，收集各种能够清晰看到人类全身且未遮挡与物体交互的高质量视频，已成为实际应用的障碍。

方法

首先将少数真实视频作为输入，利用视频到视频（V2V）生成技术创建数百个“反事实（假设与现实不同情况）”的人类-物体交互视频。接着以接触物体的点为基准，在模拟空间中重建人类和物体的运动，并将其转换为物理上可行的轨迹以匹配机器人。利用同一类别内的泛化性，训练出能够推广到未见过物体的单一策略。

主要结果

训练出的策略被应用到了真实机器人中，且说明在真实环境中无需额外的微调即可运行。据报告，仅使用机器人搭载的深度传感器信息，就在新物体、不同尺寸以及不同初始放置位置下执行了抓取、搬运和放置物体的动作。

局限与待确认之处

摘要中没有给出成功率、与其他方法的定量比较、学习所需的成本和时间等具体数值。此外，仅凭摘要很难判断生成视频的质量在多大程度上忠实反映了真实情况，以及在更复杂的任务或其他环境中是否能展现出相同的性能。

术语解释

• 휴머노이드(Humanoid) — 指具有类似人类的头部、躯干和四肢的机器人。
• 루코머니퓰레이션(Loco-manipulation) — 指同时执行行走或移动动作与抓取和操作物体动作的能力。
• 반사실적 영상(Counterfactual video) — 指现实中未发生，但假设“如果是这种情况会怎样”而新制作的视频。
• 영상-대-영상 생성(V2V generation) — 接收现有视频作为输入，生成改变了形状或情况的新视频的AI技术。
• 리타게팅(Retargeting) — 将人类动作转换为适合机器人身体结构和关节的任务。
• 실제-시뮬레이션-실제(Real-to-sim-to-real) — 将现实数据转移到虚拟模拟中进行学习，然后再应用回现实机器人的方式。
• 정책(Policy) — 机器人观察周围环境后决定采取何种动作的已学习规则或模型。
• 온보드 깊이 센서(Onboard depth sensor) — 安装在机器人机身上、用于测量到物体距离的传感器。