Investigación sobre JEPA acelera 100 veces los modelos del mundo para conducción autónoma

Contexto

La conducción autónoma requiere un modelo del mundo capaz de predecir el movimiento del entorno circundante y hacer planes. Los modelos del mundo existentes basados en JEPA tenían un equilibrio de compensación donde una alta precisión de conducción implicaba un cálculo pesado, y un cálculo ligero implicaba una capacidad de planificación insuficiente.

Método

Los investigadores evaluaron modelos existentes como LeWM, DINO-WM y JEPA-WM en una configuración de planificación zero-shot condicionada a objetivos sin entrenamiento de política de conducción. Luego propusieron AD-E2E-JEPA, que aplica un proyector aprendible a los embeddings de parches proyectados y añade la regularización SIGReg.

Resultados principales

Se informa que la arquitectura propuesta tarda unos 0,8 segundos en calcular 8 fotogramas de despliegue y 256 trayectorias candidatas. Utilizando solo el modelo del mundo sin política de conducción, alcanzó un objetivo a unos 20 metros con un rango de error promedio de 4,0 metros o 2,8 metros, y registró un EPDMS de 67,3/72.9 y un EPDMS excluyendo métricas de seguridad de 84,1/86.5 en NAVSIMv2. Además, aplicar el proyector preentrenado por auto-supervisión al aprendizaje por imitación elevó el EPDMS de 80,2 a 85.4.

Limitaciones y puntos abiertos

Debido a que la evaluación se realizó en el benchmark NAVSIMv2 y en un entorno donde los puntos de destino se proporcionan como observaciones futuras, el rendimiento en la conducción en carreteras reales u otros entornos no se puede confirmar a partir del resumen. La estructura detallada de SIGReg y el costo total de entrenamiento no se detallan en el resumen.

Glosario

• world model — Un modelo de IA que predice cómo cambiará el entorno circundante en el futuro.
• JEPA — Un método de entrenamiento en el que las características principales (embeddings) de los datos se predicen entre sí sin reconstruir todos los datos originales.
• embedding — Una representación que convierte imágenes o información en un conjunto de números (vectores) fáciles de calcular para las computadoras.
• patch — Una unidad que divide una imagen en pequeñas piezas de cuadrícula.
• zero-shot planning — Un método para planificar una ruta inmediatamente sin entrenamiento adicional para la tarea correspondiente.
• SIGReg regularization — Una regla de entrenamiento para evitar que el aprendizaje se vuelva sesgado o inestable, la cual no se explica en detalle en el resumen.
• EPDMS — Un sistema de puntuación que indica el rendimiento general de la planificación de conducción autónoma en el benchmark NAVSIM. Cuanto mayor sea la puntuación, mejor se interpreta.
• imitation learning — Un método para entrenar a la IA para que imite los datos de conducción humana.