Phương pháp thu thập dữ liệu hướng dẫn bằng hiệu suất nhằm nâng cao hiệu quả học tập của robot

Bối cảnh

Dạy robot thông qua các màn mô phỏng của con người là một phương pháp đáng tin cậy, nhưng khi chính sách cải thiện, mức độ cải thiện hiệu suất từ các mô phỏng bổ sung sẽ giảm dần. Mặc dù sự can thiệp của con người được sử dụng để khắc phục điều này, nhưng theo truyền thống, các thất bại tập trung vào các trạng thái ban đầu cụ thể, dẫn đến việc thu thập dữ liệu không hiệu quả.

Phương pháp

Mulligan sử dụng phân phối trạng thái ban đầu làm yếu tố quyết định để bắt đầu mỗi vòng tập từ các điểm thất bại được quan sát và các trạng thái chưa được thử nghiệm. Ngoài ra, phương pháp này cải thiện hiệu quả dữ liệu bằng cách kết hợp hàm giá trị được huấn luyện trên tất cả dữ liệu, bao gồm cả dữ liệu thất bại thường bị loại bỏ trong học bắt chước thông vés.

Kết quả chính

Trong các tác vụ robot thực tế và tác vụ mô phỏng, Mulligan đã vượt trội hơn các phương pháp lấy mẫu trạng thái ban đầu đồng nhất. Kết hợp với sự can thiệp của con người, đội ngũ người-robot đã hoàn thành 98 phần trăm tổng số tập dữ liệu được thu thập.

Hạn chế & điểm cần xác minh

Chỉ dựa vào phần tóm tắt, không thể xác nhận thông tin chi tiết về chi phí duy trì lâu dài hoặc tính tổng quát dưới các biến số khác nhau trong môi trường công nghiệp thực tế.

Giải thích thuật ngữ

• Chính sách — Quy tắc hoặc thuật toán quyết định hành động nào robot nên thực hiện trong một tình huống cho trước.
• Hàm giá trị — Công thức toán học dự đoán một trạng thái hoặc hành động cụ thể sẽ mang lại kết quả tốt như thế nào trong tương lai.