VISTA: 시각 기억으로 멀티모달 AI 에이전트 성능 향상 연구

연구 배경

멀티모달 모델은 추론 능력이 강하다고 알려져 있지만, 게임이나 퍼즐처럼 여러 단계에 걸쳐 시각 정보를 보고 판단해야 하는 환경에서는 그 능력을 충분히 끌어내기 어렵다는 문제의식이 제시되었습니다. 연구진은 모델을 둘러싸는 적절한 틀(하네스)이 이 잠재력을 열어 줄 수 있다고 주장합니다.

방법

VISTA는 범용 멀티모달 모델이 환경을 시각 관찰로 직접 인식하도록 하고, 과거 관찰을 원래 형태 그대로 보존하는 무손실 시각 메모리를 유지합니다. 모델은 필요할 때 이 기록을 능동적으로 불러와 추론 중에 시각 입력을 재구성합니다. 설계가 단순해 다른 시각 환경에도 최소한의 수정으로 적용할 수 있다고 합니다.

주요 결과

ARC-AGI-3 공개 게임 25개에서 점수와 행동 효율이 크게 개선되었다고 보고했습니다. 또한 시각 게임과 퍼즐을 포함한 추가 벤치마크 3개에서 같은 기반 모델에 최소한의 하네스만 붙인 기준 모델보다 상당히 높은 성능을 보였다고 밝혔습니다.

한계·확인할 점

초록에는 비교 기준 모델의 구체적 수치, 추가 벤치마크 3개의 이름과 세부 점수, 계산 비용이나 속도 같은 실용성 지표가 나와 있지 않습니다. 또한 ARC-AGI-3 결과는 Claude Opus 5.0 모델과 공개 게임 25개에 한정된 결과입니다.

용어 풀이

• 멀티모달 모델 — 글, 이미지, 영상 등 여러 종류의 정보를 함께 이해하고 처리하는 AI 모델입니다.
• 하네스(harness) — AI 모델을 감싸서 입력 방식이나 작업 절차를 조율해 성능을 끌어내는 외부 틀을 말합니다.
• 에이전트(agent) — 주어진 목표를 위해 스스로 관찰하고 판단하며 행동을 이어 가는 AI 시스템입니다.
• ARC-AGI-3 — 사람에게는 비교적 쉽지만 AI에게는 어려운 새로운 문제를 풀게 하는 범용 추론 능력 평가 벤치마크입니다.
• 상대 인간 행동 효율(Relative Human Action Efficiency) — 사람이 같은 과제를 풀 때 쓴 행동 수와 비교해 AI가 얼마나 적은 행동으로 과제를 끝냈는지 나타내는 점수입니다.
• 무손실 시각 메모리 — 과거에 본 화면을 압축하거나 요약하지 않고 원본 그대로 저장해 두었다가 필요할 때 다시 꺼내 쓰는 기억 장치입니다.