机器人通过模拟练习自主提升能力的RPG框架

研究背景

要制造能够稳定执行多项任务的机器人，在开发和维护技术、设计奖励机制以及连接感知与控制方面需要付出大量的人力。本研究探讨了减少这种负担的方法。

方法

RPG从离线数据集中发掘机器人的操作能力，并在模拟中创建相关的练习任务。在练习过程中，它利用执行反馈、模拟器内部状态以及数据集视频来诊断失败原因，创建新技能或修复现有技能，并修改系统提示词（给AI的基本指令）。修改方案在经过其他任务验证后被保存，在实际执行时，多模态大语言model会利用这些指令和技能列表来协调感知与机器人控制。

主要结果

在保留的22个初始条件任务中，RPG在15轮后记录了95.0%的成功率，高于对比对象ASPIRE（75.5%）和CaP-Agent0（60.0%）。经过通用校准和硬件适应程序后，固定系统在真实机器人上对三种任务各执行10次，总计30次全部成功。

局限与待确认之处

摘要中并未详细说明所使用机器人的种类、模拟与真实环境之间的差异、失败案例的详细内容以及对比模型的设置条件。作为对比提及的模型名称“GPT-6 Astra Pro”及其性能数值也仅按摘要原文记载，无法进行独立验证。

术语解释

• 具身智能体 — 像机器人一样在现实物理世界中拥有躯体、进行感知和行动的AI系统
• 系统提示词 — 规定AI如何执行任务的基本指令
• 符号化技能 — 以人类可理解的形式定义的可重用动作单元，例如“抓取”、“放置”
• 模拟器 — 在计算机中模拟物理环境而不使用真实机器人的程序
• 离线数据集 — 已收集的机器人任务记录（视频和数据）集合，是无需新实验即可利用的资料
• 多模态大语言模型 — 不仅能理解文字，还能同时理解视频、图像等多种形态信息的大规模语言模型
• 权重更新 — 重新训练并更改AI模型内部无数数字（权重）的工作，RPG在没有这个过程的情况下实现改进