T2Mem：一种使机器人通过记忆过去场景来学习执行任务的技术

研究背景

摘要指出，许多机器人任务仅凭当前可见的场景是无法判断的，必须记住先前看到的信息。然而，仅仅保留所有过去的记录是不够的，还需要挑选并记住对未来行动有帮助的信息。

方法

T2Mem 在预训练的视觉-语言-动作策略内部运作，无需单独的外部推理模型或仅用于记忆的注释即可进行学习。通过测试时学习，将观察记录压缩存储在以在线自监督方式更新的小型快速权重中，从而避免每次都重新处理完整的记录。交替执行记忆形成和动作学习，使各个组件在优化过程中拥有固定的对应方。

主要结果

16项 RoboMME 任务的平均成功率从 17.93% 提升至 56.83%。此外，在受控测量中，与现有的显式记忆方法相比，推理速度至少快了3倍。

局限与待确认之处

仅凭摘要无法确认实际的机器人实验结果、学习所需的计算成本以及向其他类型任务泛化的程度。速度提升的测量条件和对比对象的详细信息也没有在摘要中说明。

术语解释

• 视觉-语言-动作策略（VLA） — 一种通过观察画面、理解自然语言指令来直接决定机器人动作的人工智能模型。
• 测试时学习（test-time training） — 一种即使在实际使用模型的瞬间，也根据输入稍微自我更新的学习方法。
• 快速权重（fast weights） — 模型内部仅在短时间内快速变化并保存近期信息的临时存储值。
• 自监督学习（self-supervised learning） — 一种不需要人工标注答案，而是通过遮挡或预测数据本身的一部分来进行自主学习的方法。
• RoboMME — 为评估机器人记忆和利用过去信息的能力而创建的基准（标准测试任务集合）。
• 循环记忆（recurrent memory） — 一种将前一步的状态传递到下一步，从而保持过去信息的神经网络结构。