実際の動画数件をAIで拡張し、ヒューマノイドの物資運搬学習を実現

研究の背景

ヒューマノイドロボットに人間の動作を示して物資運搬などのスキルを教える方法は、汎用ロボットへの有望な道として挙げられています。しかし、人間の全身がよく見え、物体とのインタラクションが遮られていない高品質な動画を多様に収集することが実用上のハードルとなっています。

手法

まず少数の実際の動画を入力としてビデオ・ツー・ビデオ（V2V）生成技術を用い、数百件の「反事実的（実際とは異なる状況を仮定した）」人間と物体のインタラクション動画を作成します。続いて、物体と接触する点を基準に人間と物体の動きをシミュレーション空間内で再構成し、これを物理的に可能な軌道に変換してロボットに合わせます。同一カテゴリ内の多様性を活用することで、未知の物体にも汎化する単一のポリシーを学習します。

主な結果

学習されたポリシーを実際のロボットに適用し、現実環境での追加のファインチューニングなしで動作したと説明しています。ロボットに搭載された深度センサーの情報のみを使用し、未知の物体、異なるサイズ、異なる初期配置においても、物体を掴み、運び、置く動作を実行したと報告しています。

限界・確認すべき点

アブストラクトには成功率や他の手法との定量的比較、学習にかかるコストや時間などの具体的な数値は記載されていません。また、生成された動画の品質が実際の状況をどれほど忠実に反映しているか、より複雑なタスクや異なる環境でも同様の性能を発揮するかは、アブストラクトだけでは判断が困難です。

用語解説

• ヒューマノイド（Humanoid） — 人間によく似た頭部、胴体、四肢を持つロボットを指します。
• ロコ・マニピュレーション（Loco-manipulation） — 歩行や移動の動作と、物体を掴んで操作する動作を同時に行う能力を意味します。
• 反事実的動画（Counterfactual video） — 実際には起こらなかったものの「もしこのような状況だったら」と仮定して新しく作成した動画を指します。
• ビデオ・ツー・ビデオ生成（V2V generation） — 既存の動画を入力として受け取り、形状や状況を変更した新しい動画を生成するAI技術です。
• リターゲティング（Retargeting） — 人間の動きをロボットの身体構造や関節に合わせて移行させる作業です。
• リアル・ツー・シム・ツー・リアル（Real-to-sim-to-real） — 現実のデータを仮想シミュレーションに移して学習させた後、再び現実のロボットに適用する方式です。
• ポリシー（Policy） — ロボットが周囲の状況を見てどのような動作をするかを決定する、学習されたルールまたはモデルです。
• オンボード深度センサー（Onboard depth sensor） — ロボットの本体に搭載されており、物体までの距離を測定するセンサーです。