ขยายวิดีโอจริงเพียงไม่กี่รายการด้วย AI เพื่อเรียนรู้การเคลื่อนไหวและการหยิบจับสิ่งของของฮิวแมนนอยด์

ที่มา

วิธีการสอนทักษะการหยิบจับสิ่งของ เช่น การเคลื่อนย้ายสิ่งของ ให้แก่หุ่นยนต์ฮิวแมนนอยด์โดยการแสดงการเคลื่อนไหวของมนุษย์ ถือเป็นแนวทางที่มีความหวังในการไปสู่หุ่นยนต์อเนกประสงค์ อย่างไรก็ตาม การรวบรวมวิดีโอคุณภาพสูงที่สามารถมองเห็นร่างกายส่วนต่างๆ ของมนุษย์ได้อย่างชัดเจนและไม่มีการบดบังปฏิสัมพันธ์กับวัตถุในหลากหลายรูปแบบ ได้กลายเป็นอุปสรรคสำคัญในทางปฏิบัติ

วิธีการ

ขั้นแรก ใช้เทคโนโลยีการสร้างวิดีโอต่อวิดีโอ (V2V) กับอินพุตที่เป็นวิดีโอจริงจำนวนน้อย เพื่อสร้างวิดีโอปฏิสัมพันธ์ระหว่างมนุษย์และวัตถุแบบ "ข้อเท็จจริงเชิงซ้อน (สมมติสถานการณ์ที่แตกต่างจากความเป็นจริง)" หลายร้อยรายการ จากนั้น ทำการสร้างการเคลื่อนไหวของมนุษย์และวัตถุขึ้นใหม่ในพื้นที่จำลองโดยอิงจากจุดที่สัมผัสกับวัตถุ และแปลงให้เป็นวิถีโค้งที่เป็นไปได้ทางฟิสิกส์เพื่อให้เข้ากับหุ่นยนต์ โดยใช้วิธีการใช้ประโยชน์จากความหลากหลายภายในหมวดหมู่เดียวกัน เพื่อฝึกอบรมโยบายเดียวที่สามารถสรุปผลไปยังวัตถุที่ไม่เคยพบมาก่อนได้

ผลลัพธ์หลัก

อธิบายว่านโยบายที่ได้รับการฝึกอบรมแล้วถูกนำไปใช้กับหุ่นยนต์จริง และการทำงานเกิดขึ้นโดยไม่ต้องมีการปรับแต่งอย่างละเอียดเพิ่มเติมในสภาพแวดล้อมจริง มีการรายงานว่าหุ่นยนต์สามารถปฏิบัติงานในการหยิบ ย้าย และวางวัตถุในวัตถุใหม่ ขนาดที่แตกต่างกัน และการจัดวางเริ่มต้นที่แตกต่างกัน โดยใช้เพียงข้อมูลเซ็นเซอร์ความลึกที่ติดตั้งอยู่บนตัวหุ่นยนต์เท่านั้น

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

ในบทคัดย่อไม่มีตัวเลขที่เฉพาะเจาะจง เช่น อัตราความสำเร็จ การเปรียบเทียบเชิงปริมาณกับวิธีอื่น หรือต้นทุนและเวลาที่ใช้ในการฝึกอบรม นอกจากนี้ จากบทคัดย่อเพียงอย่างเดียว ยังเป็นการยากที่จะตัดสินว่าคุณภาพของวิดีโอที่สร้างขึ้นสะท้อนสถานการณ์จริงได้ดีเพียงใด หรือจะบรรลุประสิทธิภาพเดียวกันในงานที่ซับซ้อนมากขึ้นหรือสภาพแวดล้อมอื่นๆ หรือไม่

อธิบายศัพท์

• 휴머노이드(Humanoid) — หมายถึงหุ่นยนต์ที่มีศีรษะ ลำตัว และแขนขาคล้ายกับมนุษย์
• 루코머니퓰레이션(Loco-manipulation) — หมายถึงความสามารถในการดำเนินการเคลื่อนไหว เช่น การเดินหรือการเคลื่อนที่ ควบคู่ไปกับการกระทำในการจับและควบคุมวัตถุ
• 반사실적 영상(Counterfactual video) — หมายถึงวิดีโอที่สร้างขึ้นใหม่โดยสมมติว่า "จะเกิดอะไรขึ้นหากอยู่ในสถานการณ์นี้" แม้ว่าจะไม่ได้เกิดขึ้นจริงก็ตาม
• 영상-대-영상 생성(V2V generation) — เป็นเทคโนโลยี AI ที่รับวิดีโอที่มีอยู่เป็นอินพุตและสร้างวิดีโอใหม่ที่เปลี่ยนรูปร่างหรือสถานการณ์
• 리타게팅(Retargeting) — เป็นงานที่ถ่ายโอนการเคลื่อนไหวของมนุษย์ให้เข้ากับโครงสร้างร่างกายและข้อต่อของหุ่นยนต์
• 실제-시뮬레이션-실제(Real-to-sim-to-real) — เป็นวิธีการที่ถ่ายโอนข้อมูลในโลกความเป็นจริงไปยังการจำลองเสมือนจริงเพื่อทำการฝึกอบรม จากนั้นจึงนำกลับมาปรับใช้กับหุ่นยนต์ในโลกความเป็นจริงอีกครั้ง
• 정책(Policy) — เป็นกฎหรือโมเดลที่ผ่านการฝึกอบรมมาแล้ว ซึ่งกำหนดว่าหุ่นยนต์ควรทำการเคลื่อนไหวใดโดยดูจากสถานการณ์รอบตัว
• 온보드 깊이 센서(Onboard depth sensor) — เป็นเซ็นเซอร์ที่ติดตั้งอยู่บนตัวหุ่นยนต์เพื่อวัดระยะทางไปยังวัตถุ