Un framework RPG donde los robots mejoran sus propias habilidades mediante práctica en simulación

Contexto

Crear robots capaces de realizar múltiples tareas de manera confiable requiere un esfuerzo humano significativo para desarrollar y mantener la tecnología, diseñar recompensas y conectar la percepción con el control. Este estudio aborda formas de reducir esta carga.

Método

RPG extrae capacidades de manipulación de robots de un conjunto de datos fuera de línea y crea tareas de práctica relacionadas en simulación. Durante la práctica, utiliza la retroalimentación de ejecución, el estado interno del simulador y videos del conjunto de datos para diagnosticar las causas de los errores, crear nuevas habilidades o corregir las existentes, y modificar el prompt del sistema (instrucciones básicas dadas a la IA). Las modificaciones se archivan tras ser verificadas en otras tareas, y durante la ejecución real, un modelo de lenguaje grande multimodal utiliza estas instrucciones y la lista de habilidades para coordinar la percepción y el control del robot.

Resultados principales

En 22 tareas con condiciones iniciales reservadas, RPG logró una tasa de éxito del 95,0% después de 15 rondas, superando a los objetivos de comparación ASPIRE (75,5%) y CaP-Agent0 (60,0%). Tras procedimientos de calibración común y adaptación de hardware, un sistema fijo completó con éxito tres tareas en un robot real 10 veces cada una, sumando un total de 30 ensayos.

Limitaciones y puntos abiertos

El resumen no detalla el tipo de robot utilizado, la brecha entre la simulación y los entornos reales, los detalles específicos de los casos de fallo o las condiciones de configuración de los modelos de comparación. El nombre del modelo 'GPT-6 Astra Pro' y las cifras de rendimiento indicadas como objetivos de comparación son exactamente como están escritos en el resumen y no se pueden verificar de manera independiente.

Glosario

• Embodied Agent — Un sistema de IA que tiene un cuerpo físico en el mundo real para percibir y actuar como un robot
• System Prompt — Instrucciones básicas que determinan cómo la IA realizará las tareas
• Symbolic Skill — Unidades de acción reutilizables definidas en una forma comprensible para los humanos, como 'agarrar' o 'colocar'
• Simulator — Un programa que imita un entorno físico dentro de una computadora sin un robot real
• Offline Dataset — Una colección de registros de tareas de robots recopilados previamente (videos y datos) utilizada sin realizar nuevos experimentos
• Multimodal LLM — Un modelo de lenguaje grande que comprende múltiples formas de información como video e imágenes además de texto
• Weight Update — El proceso de reentrenar y cambiar numerosos números (pesos) dentro de un modelo de IA, el cual RPG mejora sin realizar este proceso