VISTA：通过视觉记忆提升多模态AI智能体性能的研究

研究背景

人们普遍认为多模态模型具有强大的推理能力，但有观点指出，在需要跨多个步骤观察视觉信息并做出判断的游戏或拼图等环境中，很难充分发挥这种能力。研究人员主张，围绕模型构建适当的架构（harness）可以释放这一潜力。

方法

VISTA使通用多模态模型能够通过视觉观察直接感知环境，并保持以原始形态保存过去观察结果的无损视觉记忆。模型可在需要时主动调取这些记录，并在推理过程中重建视觉输入。据说该设计简单，只需进行极少修改即可应用于其他视觉环境。

主要结果

据报告，在ARC-AGI-3的25个公开游戏测试中，得分和行动效率得到了显著提升。此外，在包含视觉游戏和拼图在内的其他3个基准测试中，其性能也明显高于仅在相同基础模型上附加极简架构的基线模型。

局限与待确认之处

摘要中未给出比较基线模型的具体数值、其他3个基准测试的名称与详细得分，以及计算成本或速度等实用性指标。同时，ARC-AGI-3的结果仅限于Claude Opus 5.0模型和25个公开游戏。

术语解释

• 多模态模型 — 能够同时理解和处理文本、图像、视频等多种类型信息的AI模型。
• 하네스(harness) — 指包裹AI模型、协调输入方式或工作流程以提升性能的外部框架。
• 에이전트(agent) — 为实现给定目标而自主观察、判断并持续采取行动的AI系统。
• ARC-AGI-3 — 用于评估通用推理能力的基准测试，旨在让AI解决对人类相对容易但对AI却很困难的新问题。
• Relative Human Action Efficiency — 与人类解决同一任务时所用的行动次数相比，表示AI以多么少的行动完成任务的分数。
• 무손실 시각 메모리 — 不压缩或总结过去看到的画面，而是将其以原始形态保存并在需要时重新调用的记忆装置。