VISTA: Investigación sobre la mejora del rendimiento de agentes de IA multimodales mediante memoria visual

Contexto

Si bien se sabe que los modelos multimodales tienen sólidas capacidades de razonamiento, se ha planteado la preocupación de que es difícil extraer plenamente estas capacidades en entornos que requieren observar y juzgar información visual en múltiples pasos, como juegos y rompecabezas. Los investigadores argumentan que un marco adecuado (arnés) que rodee al modelo puede liberar este potencial.

Método

VISTA permite que los modelos multimodales de uso general perciban directamente el entorno a través de observaciones visuales y mantiene una memoria visual sin pérdidas que preserva las observaciones pasadas en su forma original. El modelo recupera activamente estos registros cuando es necesario para reconstruir las entradas visuales durante el razonamiento. El diseño es simple, lo que permite aplicarlo a otros entornos visuales con modificaciones mínimas.

Resultados principales

Se informó que las puntuaciones y la eficiencia de acción mejoraron significativamente en 25 juegos públicos de ARC-AGI-3. Además, en tres puntos de referencia adicionales que incluyen juegos visuales y rompecabezas, mostró un rendimiento significativamente mayor que los modelos de referencia que solo adjuntaron un arnés mínimo al mismo modelo base.

Limitaciones y puntos abiertos

El resumen no proporciona cifras específicas para los modelos de comparación de referencia, los nombres y puntuaciones detalladas de los tres puntos de referencia adicionales, ni indicadores de viabilidad como el coste computacional o la velocidad. Además, los resultados de ARC-AGI-3 se limitan al modelo Claude Opus 5.0 y 25 juegos públicos.

Glosario

• Modelo multimodal — Un modelo de IA que comprende y procesa múltiples tipos de información juntos, como texto, imágenes y video.
• Arnés (harness) — Un marco externo que envuelve un modelo de IA para coordinar métodos de entrada o procedimientos de trabajo con el fin de extraer un mejor rendimiento.
• Agente — Un sistema de IA que observa, juzga y realiza acciones continuas de manera autónoma para lograr un objetivo determinado.
• ARC-AGI-3 — Una evaluación comparativa de capacidad de razonamiento de propósito general que requiere resolver problemas novedosos que son relativamente fáciles para los humanos pero difíciles para la IA.
• Eficiencia de acción humana relativa — Una puntuación que indica cuántas menos acciones usó la IA para completar una tarea en comparación con el número de acciones que tomó un humano al resolver la misma tarea.
• Memoria visual sin pérdidas — Un sistema de memoria que almacena las pantallas vistas anteriormente en su forma original sin compresión ni resumen, recuperándolas cuando es necesario.