人工知能ロボットの行動学習を迅速に支援するアルゴリズムを開発

研究の背景

ロボットのデモンストレーションを通じて行動方式を学習するフローポリシーが広く使われていますが、インタラクションを通じてこれを改善したりゼロから学習したりするには、強化学習が依然として重要です。しかし、従来の方法には学習速度や効率性の面で限界がありました。

手法

QF3は、フローマッチングと批評家ニューラルネットワークの行動勾配を組み合わせたオンラインオフポリシー強化学習アルゴリズムです。批評家と予測の信頼性を維持するため、特定の行動次元にのみ勾配を適用する方式を採用しました。

主な結果

ヒューマノイドロボットの移動ポリシーをゼロから学習させ、実際のハードウェアに直接適用することに成功しました。また、従来方式と比較して約10倍の学習速度を記録し、事前学習済みの操作ポリシーを微調整するのにも活用できることを示しました。

限界・確認すべき点

抄録では、具体的なハードウェアの制約事項や多様な環境における長期的な安定性に関する詳細な情報は確認できません。

用語解説

• フローポリシー — ロボットが連続的な行動をスムーズに行うのを助ける人工知能モデルの一種です。
• 強化学習 — 試行錯誤を重ねながら最も良い行動様式を見つけ出す人工知能の学習方法です。
• オフポリシー — 過去に収集したデータや他のポリシーの経験を活用して効率的に学習する方式です。