Nghiên cứu JEPA giúp mô hình thế giới xe tự lái nhanh gấp 100 lần

Bối cảnh

Xe tự lái đòi hỏi một mô hình thế giới có thể dự đoán chuyển động của thế giới xung quanh và lập kế hoạch. Các mô hình thế giới dựa trên JEPA hiện có tồn tại sự đánh đổi: độ chính xác lái xe cao thì tính toán nặng, còn tính toán nhẹ thì không đủ khả năng lập kế hoạch.

Phương pháp

Các nhà nghiên cứu đã đánh giá các mô hình hiện có như LeWM, DINO-WM và JEPA-WM trong thiết lập lập kế hoạch zero-shot dựa trên mục tiêu mà không cần huấn luyện chính sách lái xe. Tiếp theo, họ đề xuất AD-E2E-JEPA, áp dụng bộ chiếu có thể học vào các embedding bản vá đã chiếu và bổ sung quá trình chuẩn hóa SIGReg.

Kết quả chính

Kiến trúc được đề xuất báo cáo mất khoảng 0,8 giây để tính toán 8 khung hình triển khai và 256 quỹ đạo ứng viên. Chỉ sử dụng mô hình thế giới mà không cần chính sách lái xe, nó đã tiếp cận mục tiêu cách khoảng 20 mét với phạm vi sai số trung bình là 4,0 mét hoặc 2,8 mét, đồng thời đạt EPDMS là 67,3/72.9 và EPDMS loại trừ các chỉ số an toàn là 84,1/86.5 trên NAVSIMv2. Ngoài ra, việc áp dụng bộ chiếu được huấn luyện trước tự giám sát vào học bắt chước đã làm tăng EPDMS từ 80,2 lên 85.4.

Hạn chế & điểm cần xác minh

Vì việc đánh giá được thực hiện trên benchmark NAVSIMv2 và trong cài đặt cung cấp các điểm mục tiêu dưới dạng quan sát tương lai, hiệu suất trên đường lái xe thực tế hoặc các môi trường khác không thể được xác nhận từ phần tóm tắt. Cấu trúc chi tiết của SIGReg và toàn bộ chi phí huấn luyện không được trình bày chi tiết trong phần tóm tắt.

Giải thích thuật ngữ

• world model — Mô hình AI dự đoán môi trường xung quanh sẽ thay đổi như thế nào trong tương lai.
• JEPA — Phương pháp huấn luyện trong đó các đặc trưng cốt lõi (embedding) của dữ liệu dự đoán lẫn nhau mà không cần tái tạo lại toàn bộ dữ liệu gốc.
• embedding — Biểu diễn chuyển hình ảnh hoặc thông tin thành tập hợp các con số (véc-tơ) giúp máy tính dễ dàng tính toán.
• patch — Đơn vị chia nhỏ hình ảnh thành các mảnh lưới nhỏ.
• zero-shot planning — Phương pháp lập kế hoạch lộ trình ngay lập tức mà không cần huấn luyện bổ sung cho tác vụ đó.
• SIGReg regularization — Quy tắc huấn luyện nhằm ngăn chặn việc học tập bị lệch hoặc bất ổn định, không được giải thích chi tiết trong phần tóm tắt.
• EPDMS — Hệ thống điểm số thể hiện hiệu suất tổng thể của việc lập kế hoạch xe tự lái trong benchmark NAVSIM. Điểm số càng cao được hiểu là càng tốt.
• imitation learning — Phương pháp huấn luyện AI để bắt chước dữ liệu lái xe của con người.