VISTA：視覚的記憶によるマルチモーダルAIエージェントの性能向上に関する研究

研究の背景

マルチモーダルモデルは推論能力が高いと言われていますが、ゲームやパズルなどのように複数のステップにわたって視覚情報を確認し判断しなければならない環境では、その能力を十分に引き出すことが難しいという課題意識が示されました。研究チームは、モデルを囲む適切な枠組み（ハーネス）がこの潜在能力を引き出すことができると主張しています。

手法

VISTAは、汎用マルチモーダルモデルが環境を視覚的観察によって直接認識できるようにし、過去の観察を本来の形のまま保持するロスレス視覚メモリを維持します。モデルは必要に応じてこの記録を能動的に呼び出し、推論中に視覚入力を再構築します。設計がシンプルであるため、他の視覚環境にも最小限の修正で適用できるとのことです。

主な結果

ARC-AGI-3の公開ゲーム25個において、スコアと行動効率が大幅に改善されたと報告されています。また、視覚ゲームやパズルを含む追加の3つのベンチマークにおいて、同じベースモデルに最小限のハーネスのみを取り付けた基準モデルよりもかなり高い性能を示したと明らかにされています。

限界・確認すべき点

抄録には、比較基準モデルの具体的な数値、追加の3つのベンチマークの名前と詳細スコア、計算コストや速度といった実用性指標が記載されていません。また、ARC-AGI-3の結果はClaude Opus 5.0モデルと公開ゲーム25個に限定された結果です。

用語解説

• マルチモーダルモデル — テキスト、画像、動画など、複数種類の情報をまとめて理解し処理するAIモデルです。
• 하네스(harness) — AIモデルを包み込み、入力方式や作業手順を調整して性能を引き出す外部の枠組みを指します。
• エージェント — 与えられた目標のために自ら観察し、判断し、行動を継続していくAIシステムです。
• ARC-AGI-3 — 人間にとっては比較的容易であるがAIにとっては難しい新しい問題を解かせる、汎用推論能力評価ベンチマークです。
• Relative Human Action Efficiency — 人間が同じ課題を解く際に使用した行動数と比較して、AIがどれほど少ない行動で課題を完了したかを示すスコアです。
• 무손실 시각 메모리 — 過去に見た画面を圧縮したり要約したりせず、原本のまま保存しておき、必要な時に再び取り出して使う記憶装置です。