Una revisión exhaustiva que resume la investigación de 'modelos del mundo' para el aprendizaje de robots

Contexto

Los modelos del mundo se han convertido en un componente central del aprendizaje de robots como método de representación que predice de antemano cómo cambiará el entorno cuando se toman acciones. Han crecido rápidamente junto con los avances en los modelos fundamentales y la tecnología de generación de video a gran escala. Sin embargo, la investigación ha estado fragmentada por estructura, rol y campo de aplicación, lo que dificulta captar el panorama general.

Método

Los autores revisaron sistemáticamente la literatura relacionada con los modelos del mundo desde la perspectiva del aprendizaje de robots. Examinaron cómo los modelos del mundo se combinan con las políticas de robots, cómo se utilizan como simuladores aprendibles para el aprendizaje por refuerzo y la evaluación, y cómo los modelos del mundo de video para robots han evolucionado desde la generación basada en la imaginación hasta enfoques controlables y estructurados. Además, se organizaron conjuntos de datos representativos, puntos de referencia y protocolos de evaluación.

Resultados principales

El resumen afirma que organiza los principales paradigmas y campos de aplicación de los modelos del mundo, y presenta los desafíos clave actuales y las direcciones futuras de investigación. También introduce un repositorio público que actualizará continuamente la investigación y los recursos recientes relacionados. El resumen no contiene cifras específicas de rendimiento cuantitativo.

Limitaciones y puntos abiertos

Este artículo es una revisión que organiza la literatura existente en lugar de una investigación experimental que compare el rendimiento de nuevos modelos. Solo con el resumen, no es posible confirmar el rendimiento detallado de cada método o la escala de los casos de aplicación industrial en el mundo real.

Glosario

• World model — Un modelo de inteligencia artificial que predice de antemano cómo cambiará el entorno circundante cuando se realiza una acción.
• Policy — Se refiere a una regla o modelo que determina qué acción debe tomar un robot al observar una situación.
• Reinforcement learning — Un método de aprendizaje en el que un agente aprende mediante prueba y error para encontrar métodos de acción que maximicen las recompensas.
• Foundation model — Un modelo de inteligencia artificial de propósito general preentrenado con datos a gran escala que se puede aplicar ampliamente a diversos usos.
• Benchmark — Una tarea o estándar de prueba establecido para comparar el rendimiento de múltiples modelos bajo las mismas condiciones.
• Embodied agent — Se refiere a una entidad de inteligencia artificial que posee un cuerpo físico como un robot y actúa en el mundo físico.