T2Mem: ロボットが過去のシーンを記憶して作業を行うよう学習する手法

研究の背景

多くのロボットタスクは今見えている場面だけでは判断できず、以前に見た情報を記憶している必要があるとアブストラクトは説明しています。しかし、単に過去の記録をすべて保管するだけでは不十分であり、今後の行動に役立つ情報を取捨選択して記憶する必要があるとのことです。

手法

T2Mem は事前学習済みの視覚-言語-行動ポリシーの内部で動作し、個別の外部推論モデルや記憶専用のアノテーションなしで学習します。テスト時訓練により、観測記録をオンラインの自己教師あり学習方式で更新される小さなファストウェイト（高速重み）に圧縮して保存し、全体の記録を毎回再処理しないようにします。記憶形成と行動学習を交互に行うことで、各コンポーネントが最適化中に固定された相手を持つようにします。

主な結果

16個の RoboMME タスクの平均成功率が 17.93% から 56.83% に向上しました。また、制御された測定において、既存の明示的記憶手法と比較して推論が少なくとも3倍高速であったと報告されています。

限界・確認すべき点

アブストラクトだけでは、実際のロボット実験結果、学習にかかる計算コスト、他種のタスクへの汎化の程度を確認することはできません。速度向上の測定条件や比較対象の詳細についても、アブストラクトには記載されていません。

用語解説

• 視覚-言語-行動ポリシー（VLA） — 画面を見て、自然言語の指示を理解し、ロボットの動作を直接決定する人工知能モデルです。
• テスト時訓練（test-time training） — モデルを実際に使用する瞬間にも、入力を基に少しずつ自己を更新する学習方式です。
• ファストウェイト（fast weights） — モデルの内部で短い時間のみ急速に変化し、直近の情報を保持する一時的な保存値です。
• 自己教師あり学習（self-supervised learning） — 人間が正解を与えず、データ自体の一部を隠したり予測したりしながら自ら学ぶ方式です。
• RoboMME — ロボットが過去の情報を記憶し活用する能力を評価するために作成されたベンチマーク（標準テスト課題の集まり）です。
• リカレント記憶（recurrent memory） — 前の段階の状態を次の段階へと引き継ぎながら、過去の情報を維持するニューラルネットワーク構造です。