使自动驾驶世界模型提速100倍的JEPA研究

研究背景

自动驾驶需要能够预测周围世界运动并进行规划的世界模型。现有的基于JEPA的世界模型存在一种权衡关系：驾驶准确度高则计算沉重，计算轻量则不足以支持规划。

方法

研究团队在不进行驾驶策略学习的情况下，在基于目标点的零样本规划设置中评估了LeWM、DINO-WM和JEPA-WM等现有模型。随后，他们提出了 AD-E2E-JEPA，该模型在投影后的图像块嵌入上应用了可学习的投影仪，并加入了SIGReg正则化。

主要结果

据报告，该提议架构执行8帧滚动预测和256个候选轨迹计算耗时约0.8秒。在没有驾驶策略、仅依靠世界模型的情况下，它平均在20米外的目标周围4.0米或2.8米的误差范围内到达；在NAVSIMv2上记录了 EPDMS 67.3/72.9，在排除安全指标后的 EPDMS 为 84.1/86.5。此外，将自监督预训练的投影仪应用于模仿学习后，EPDMS从80.2上升到了85.4。

局限与待确认之处

由于评估是在NAVSIMv2基准测试以及将目标点作为未来观测的设置下进行的，因此无法从摘要中确认其实际道路驾驶或其他环境中的性能。摘要中并未详细说明SIGReg的具体结构和完整的训练成本。

术语解释

• 世界模型(world model) — 预测周围环境将如何变化的AI模型。
• JEPA — 一种不重建整个原始数据，而是通过让数据核心特征（嵌入）相互预测来学习的方法。
• 嵌入(embedding) — 将图像或信息转换为计算机易于计算的数字包（向量）的表示形式。
• 패치(patch) — 将图像分割成的小网格碎片单位。
• 제로샷 계획(zero-shot planning) — 无需针对该任务进行额外训练即可直接规划路径的方法。
• SIGReg 정규화 — 防止学习发生偏差或不稳定的学习规则，摘要中未详细说明。
• EPDMS — NAVSIM基准测试中表示自动驾驶规划综合性能的评分体系。分数越高，解释为性能越好。
• 모방학습(imitation learning) — 让AI学习模仿人类驾驶数据的方法。