研究人员提出TacEx，利用触觉好奇心提升机器人学习效率

研究背景

强化学习是机器人通过试错来掌握技能的方法，但需要大量尝试，效率相对较低。现有方法通过随机行为寻找新策略，此时机器人大部分时间都花费在不与物体接触的空中。也有观点指出，对模型不熟悉的部分给予奖励的现有好奇心方法，可能会给与物体无关的不规则运动给予奖励。

方法

研究人员将模型的客观不确定性按感觉种类进行划分，并设计了将好奇心引导至触觉通道的TacEx。通过这种方式，机器人无需任务目标即可探索接触中发生的物理变化。利用通过探索收集的数据，在离线状态下学习抓取策略，并通过基于触觉的探索对预训练的视觉语言动作模型进行二次学习。

主要结果

摘要说明，使用TacEx可以让机器人在没有任务奖励的情况下也掌握抓取和操作物体的技能。利用这样收集的交互数据，无需额外的环境交互即可学习抓取和放置策略。据报道，即使是没有触觉预训练的视觉语言动作模型，经过TacEx的后续学习后性能也会大幅提升，且依然保持样本高效。具体数值并未在摘要中给出。

局限与待确认之处

摘要中未给出实验中使用的机器人种类、任务范围、成功率等具体数值以及对比对象，因此无法判断性能提升的幅度。仅凭摘要也无法确认其实际环境中的稳定性和泛化到其他任务的能力。

术语解释

• 강화학습 — 一种通过试错学习行为方式，以最大化行为结果获得的奖励的学习方法。
• 샘플 비효율성 — 指学习所需的尝试次数或数据量大导致效率低下的特性。
• 내재적 동기(호기심) — 在没有外部给予奖励的情况下，促使机器人自主寻找新颖的或不熟悉事物的奖励机制。
• 인식적 불확실성 — 指AI模型尚未完全理解或掌握的程度。朝着减少该不确定性的方向进行探索可以获得新的经验。
• 촉각 피드백 — 机器人与物体接触时感受到的压力或接触信息被反馈回来的信号。
• 오프라인 학습 — 仅利用已经收集好的数据进行学习，而无需进行额外实验的方式。
• 시각-언어-행동(VLA) 모델 — 同时接收图像和语言指令并输出机器人行为的大型AI模型。
• 사후 학습(post-training) — 将预训练模型针对特定目的进行额外重新学习的过程。
• 픽 앤 플레이스(pick-and-place) — 指将物体拿起并放到其他位置的动作。