自動運転のワールドモデルを100倍高速化したJEPAに関する研究

研究の背景

自動運転には、周囲の世界の動きを予測して計画を立てることができるワールドモデルが必要です。従来のJEPAベースのワールドモデルには、運転の精度が高ければ計算が重く、計算が軽ければ計画には不十分であるというトレードオフが存在していました。

手法

研究チームは、運転ポリシーの学習を行わず、目標地点ベースのゼロショット計画設定において、LeWM、DINO-WM、JEPA-WMなどの従来モデルを評価しました。続いて、射影されたパッチ埋め込みに学習可能なプロジェクターを適用し、SIGReg正則化を加えた「AD-E2E-JEPA」を提案しました。

主な結果

提案構造は、8フレームのロールアウトと256個の候補軌道の計算に約0.8秒かかると報告されています。運転ポリシーなしでワールドモデルのみを使用して、約20メートル離れた目標に平均4.0メートルまたは2.8メートルの誤差範囲内で到達し、NAVSIMv2でEPDMS 67.3/72.9、安全指標を除外したEPDMSで84.1/86.5を記録しました。さらに、自己教師あり事前学習を行ったプロジェクターを模倣学習に適用したところ、EPDMSが80.2から85.4に向上したとのことです。

限界・確認すべき点

評価はNAVSIMv2ベンチマークおよび目標地点を未来の観測として与える設定で行われたため、実際の道路走行や他の環境における性能は抄録からは確認できません。抄録にはSIGRegの詳細な構造や学習コストの全体が詳しく記載されていません。

用語解説

• 세계모델(world model) — 周囲の環境が今後どのように変化するかを予測するAIモデルです。
• JEPA — 元のデータ全体を再構成せず、データの核心的な特徴（埋め込み）同士を予測し合うように学習する方式です。
• 임베딩(embedding) — 画像や情報をコンピュータが計算しやすい数字の束（ベクトル）に変換した表現です。
• 패치(patch) — 画像を小さな格子状の断片に分割した単位です。
• 제로샷 계획(zero-shot planning) — 該当のタスクのために追加学習を行わず、すぐに経路を計画する方式です。
• SIGReg 정규화 — 学習が一方に偏ったり不安定になったりするのを防ぐ学習ルールで、抄録では詳しく説明されていません。
• EPDMS — NAVSIMベンチマークにおいて自動運転計画の総合性能を示すスコア体系です。スコアが高いほど良いと解釈されます。
• 모방학습(imitation learning) — 人間の運転データを真似するようにAIを学習させる方法です。