Học tập vận chuyển đồ vật cho robot hình người bằng cách mở rộng một số video thực tế bằng AI

Bối cảnh

Dạy các kỹ năng như mang đồ vật cho robot hình người bằng cách cho chúng xem các chuyển động của con người được coi là một con đường đầy hứa hẹn hướng tới robot đa năng. Tuy nhiên, việc thu thập đa dạng các video chất lượng cao trong đó toàn bộ cơ thể người hiển thị rõ ràng và tương tác với đồ vật không bị che khuất đang là một rào cản thực tế.

Phương pháp

Đầu tiên, sử dụng một số ít video thực tế làm đầu vào, công nghệ tạo video-sang-video (V2V) được áp dụng để tạo ra hàng trăm video tương tác người-vật thể phản thực tế (giả định tình huống khác thực tế). Tiếp theo, chuyển động của con người và vật thể được tái tạo trong không gian mô phỏng dựa trên các điểm tiếp xúc với vật thể, và chuyển đổi thành các quỹ đạo có thể thực hiện được về mặt vật lý phù hợp với robot. Bằng cách tận dụng tính đa dạng trong cùng một danh mục, một chính sách duy nhất khái quát hóa cho các vật thể chưa từng thấy trước đây được huấn luyện.

Kết quả chính

Chính sách đã được huấn luyện áp dụng cho robot thực tế, và giải thích rằng các hoạt động được thực hiện mà không cần tinh chỉnh bổ sung trong môi trường thực. Báo cáo cho biết robot đã thực hiện các hành động nhặt, vận chuyển và đặt các vật thể mới, kích thước khác nhau và vị trí ban đầu khác nhau chỉ bằng cách sử dụng thông tin từ cảm biến chiều sâu tích hợp trên bo mạch.

Hạn chế & điểm cần xác minh

Bản tóm tắt không cung cấp các số liệu cụ thể như tỷ lệ thành công, so sánh định tính với các phương pháp khác, hoặc chi phí và thời gian cần thiết cho việc huấn luyện. Hơn nữa, rất khó để đánh giá chỉ từ bản tóm tắt xem chất lượng của các video được tạo phản ánh chính xác các tình huống thực tế đến mức nào hoặc liệu hiệu suất tương tự có thể đạt được trong các tác vụ phức tạp hơn hay môi trường khác hay không.

Giải thích thuật ngữ

• Robot hình người (Humanoid) — Chỉ robot có đầu, thân, tay và chân giống con người.
• Điều khiển vận động và thao tác (Loco-manipulation) — Chỉ khả năng vừa thực hiện các động tác đi lại hoặc di chuyển vừa thực hiện các động tác cầm nắm và thao tác đồ vật.
• Video phản thực tế (Counterfactual video) — Chỉ các video được tạo mới dựa trên giả định 'giả sử tình huống này đã xảy ra' mặc dù thực tế không diễn ra.
• Tạo video-sang-video (V2V generation) — Công nghệ AI nhận video hiện có làm đầu vào và tạo ra video mới có hình dạng hoặc tình huống đã thay đổi.
• Chuyển đổi mục tiêu (Retargeting) — Là công việc chuyển đổi các chuyển động của con người sao cho phù hợp với cấu trúc cơ thể và các khớp của robot.
• Thực tế-mô phỏng-thực tế (Real-to-sim-to-real) — Phương pháp chuyển dữ liệu thực tế sang mô phỏng ảo để học tập rồi áp dụng trở lại cho robot thực tế.
• Chính sách (Policy) — Quy tắc hoặc mô hình đã học giúp xác định hành động mà robot nên thực hiện khi quan sát môi trường xung quanh.
• Cảm biến chiều sâu trên bo mạch (Onboard depth sensor) — Cảm biến được gắn trên thân robot để đo khoảng cách đến các vật thể.