Công nghệ AI biến video robot ảo thành video thực tế

Bối cảnh

Mặc dù môi trường ảo có thể tạo ra dữ liệu robot quy mô lớn với chi phí thấp, sự khác biệt về mặt thị giác giữa thế giới ảo và thực khiến robot được huấn luyện trong môi trường ảo không hoạt động tốt trong thực tế. Các phương pháp hiện có sử dụng biểu diễn trung gian, dẫn đến việc mất thông tin ngữ nghĩa phong phú hoặc yêu cầu các mô đun nhận thức bổ sung.

Phương pháp

Các nhà nghiên cứu đã đề xuất một khuôn khổ gọi là RoboRender để chuyển đổi quỹ đạo ảo thành video thực tế. Mô hình này tổng hợp kết cấu và nền thực tế dựa trên video chiều sâu ảo, chỉ dẫn ngôn ngữ và video mặt nạ robot.

Kết quả chính

Các chính sách robot được huấn luyện bằng dữ liệu video do RoboRender tạo ra đạt tỷ lệ thành công trung bình 71 phần trăm trong các thí nghiệm môi trường thực tế như gắp đồ vật, thao tác và thao tác di động. Con số này cao hơn khoảng 7,1 lần và 3,6 lần so với các phương pháp dựng hình mô phỏng hiện có hoặc phương pháp ngẫu nhiên hóa miền trực quan truyền thống tương ứng.

Hạn chế & điểm cần xác minh

Bản tóm tắt không nêu rõ các hạn chế chi tiết cần thiết cho việc thương mại hóa, chẳng hạn như chi phí phần cứng cụ thể hoặc tốc độ xử lý thời gian thực.

Giải thích thuật ngữ

• sim-to-real — Áp dụng trực tiếp các kỹ thuật hoặc mô hình được huấn luyện trong môi trường ảo cho robot trong thế giới thực
• zero-shot — Phương pháp áp dụng trực tiếp mô hình được huấn luyện trong môi trường ảo vào thực tế mà không cần huấn luyện dữ liệu thực tế bổ sung