Phát triển thuật toán giúp tăng tốc học tập hành vi của robot trí tuệ nhân tạo

Bối cảnh

Mặc dù các chính sách dòng chảy học hành vi thông qua các màn trình diễn của robot được sử dụng rộng rãi, học tăng cường vẫn đóng vai trò thiết yếu để cải thiện chúng thông qua tương tác hoặc học từ đầu. Tuy nhiên, các phương pháp hiện có có hạn chế về tốc độ học tập hoặc hiệu quả.

Phương pháp

QF3 là thuật toán học tăng cường ngoại chính sách (off-policy) trực tuyến kết hợp khớp dòng chảy với các gradient hành động của mạng phê bình. Nó sử dụng phương pháp chỉ áp dụng gradient cho các chiều hành động cụ thể để duy trì độ tin cậy của bộ phê bình và các dự đoán.

Kết quả chính

Nó đã học thành công chính sách di chuyển của robot hình người từ đầu và áp dụng trực tiếp lên phần cứng thực tế. Ngoài ra, nó ghi nhận tốc độ học nhanh hơn khoảng 10 lần so với các phương pháp hiện có và cho thấy có thể được tận dụng để tinh chỉnh các chính sách thao tác đã được huấn luyện trước.

Hạn chế & điểm cần xác minh

Bản tóm tắt không cung cấp thông tin chi tiết về các ràng buộc phần cứng cụ thể hoặc độ ổn định dài hạn trong các môi trường khác nhau.

Giải thích thuật ngữ

• Chính sách dòng chảy — Một loại mô hình trí tuệ nhân tạo giúp robot thực hiện các hành động liên tục một cách mượt mà.
• Học tăng cường — Phương pháp học tập trí tuệ nhân tạo tìm ra các mẫu hành vi tốt nhất thông qua thử và sai.
• Ngoại chính sách — Phương pháp học tập hiệu quả bằng cách sử dụng dữ liệu được thu thập trong quá khứ hoặc kinh nghiệm từ các chính sách khác.