วิธีการรวบรวมข้อมูลตามประสิทธิภาพเพื่อเพิ่มประสิทธิภาพการเรียนรู้ของหุ่นยนต์

ที่มา

การสอนหุ่นยนต์ผ่านการสาธิตของมนุษย์เป็นวิธีที่น่าเชื่อถือ แต่มีข้อจำกัดที่ว่าเมื่อนโยบายถูกปรับปรุงให้ดีขึ้น ขนาดการปรับปรุงประสิทธิภาพจากการสาธิตเพิ่มเติมจะลดลง เพื่อเอาชนะสิ่งนี้ วิธีการที่ผู้ปฏิบัติงานเข้าไปแทรกแซงจึงถูกนำมาใช้ แต่ในอดีตความล้มเหลวจะกระจุกตัวอยู่ที่สถานะเริ่มต้นบางสถานะ ทำให้การรวบรวมข้อมูลไม่มีประสิทธิภาพ

วิธีการ

Mulligan ใช้การกระจายของสถานะเริ่มต้นเป็นปัจจัยกำหนด โดยเริ่มตอนของแต่ละรอบจากจุดที่สังเกตเห็นความล้มเหลวและสถานะที่ยังไม่เคยลอง นอกจากนี้ ยังเพิ่มประสิทธิภาพของข้อมูลด้วยการรวมฟังก์ชันมูลค่าที่ฝึกฝนด้วยข้อมูลทั้งหมด รวมถึงข้อมูลความล้มเหลวที่มักจะถูกทิ้งไปในการเรียนรู้การเลียนแบบแบบดั้งเดิม

ผลลัพธ์หลัก

ทั้งในงานหุ่นยนต์จริงและงานจำลอง Mulligan แสดงประสิทธิภาพที่เหนือกว่าวิธีสุ่มตัวอย่างสถานะเริ่มต้นแบบสม่ำเสมอ ด้วยการแทรกแซงของผู้ปฏิบัติงาน ทีมมนุษย์และหุ่นยนต์สามารถทำภารกิจสำเร็จถึง 98 เปอร์เซ็นต์ของตอนที่รวบรวมทั้งหมด

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

จากเนื้อหาในบทคัดย่อเพียงอย่างเดียว ไม่สามารถยืนยันข้อมูลรายละเอียดเกี่ยวกับต้นทุนหรือความสามารถทั่วไปที่คงอยู่ได้ในระยะยาวท่ามกลางตัวแปรต่างๆ ในสภาพแวดล้อมทางอุตสาหกรรมจริงได้

อธิบายศัพท์

• 정책 — กฎหรืออัลกอริทึมที่กำหนดว่าหุ่นยนต์ควรทำ0การกระทำใดในสถานการณ์ที่กำหนด
• 가치 함수 — สูตรคำนวณที่ทำนายว่าสถานะหรือการกระทำเฉพาะเจาะจงจะให้ผลลัพธ์ที่ดีเพียงใดในอนาคต