เสนอเทคนิคการลดความเร็วและการใช้หน่วยความจำของ AI สร้างวิดีโอ
- ทำอะไร
- ได้สร้างไปป์ไลน์การทำงานทั้งหมดเพื่อให้โมเดล AI สร้างวิดีโอ MiniMax-H3 ที่มีพารามิเตอร์ 3,300 ล้านตัวทำงานได้เร็วขึ้นและใช้หน่วยความจำน้อยลงทั้งบนเซิร์ฟเวอร์คลาวด์และอุปกรณ์ขนาดเล็ก
- ผลลัพธ์หลัก
- ตามบทคัดย่อ ระบุว่าสามารถเพิ่มความเร็วแบบ end-to-end (ตั้งแต่ขั้นตอนรับอินพุตจนถึงผลลัพธ์สุดท้าย) ได้สูงสุดถึง 30 เท่า และประหยัดหน่วยความจำได้ประมาณ 20% อีกทั้งยังสามารถสร้างวิดีโอความละเอียด 1344x768 ยาว 5 วินาทีที่มีเสียงประกอบ บนโหนดเซิร์ฟเวอร์ GB200 จำนวน 8 โหนด ได้เร็วกว่าเวลาจริงถึง 3.5 เท่า
- ความสำคัญ
- มีความสำคัญในแง่ของการแสดงแนวทางในการลดความล่าช้าในการสร้างและข้อจำกัดด้านหน่วยความจำ ซึ่งเป็นอุปสรรคใหญ่ที่สุดเมื่อนำ AI สร้างวิดีโอไปปรับใช้กับการบริการจริง แต่ยังยากที่จะประเมินผลลัพธ์ในเชิงพาณิชย์หรือขนาดของการประหยัดต้นทุนได้จากบทคัดย่อเพียงอย่างเดียว
ที่มา
โมเดลการแพร่กระจายที่ใช้ในการสร้างวิดีโอกำลังมีประสิทธิภาพที่ดีขึ้นอย่างรวดเร็ว แต่กระบวนการสร้างวิดีโอโดยการกำจัดสัญญาณรบกวนทีละขั้นตอนนั้นต้องทำซ้ำหลายครั้งและมีปริมาณการคำนวณที่สูงมาก บทคัดย่ออธิบายว่าสิ่งนี้ทำให้เกิดความล่าช้าในการสร้างบนคลาวด์ และข้อจำกัดด้านหน่วยความจำที่เข้มงวดบนอุปกรณ์ขนาดเล็ก เช่น DGX Spark
วิธีการ
ทีมวิจัยได้เข้าถึงปัญหาในสองแนวทาง ประการแรก ออกแบบตัวกำหนดตารางเวลาการสร้างแบบสองขั้นตอน โดยในช่วงแรกใช้ความละเอียดต่ำเพื่อจับโครงสร้างโดยรวม และในช่วงหลังใช้ความละเอียดสูงเพื่อปรับแต่งรายละเอียด พร้อมทั้งจัดการการแปลงระหว่างขั้นตอนที่มีความละเอียดต่างกันด้วยโมดูลการแมตต์พื้นที่แฝงที่เรียนรู้มาแล้ว ซึ่งช่วยตัดขั้นตอนการถอดรหัสและการเข้ารหัสซ้ำของ VAE (อุปกรณ์บีบอัดและคืนสภาพวิดีโอ) ที่มีต้นทุนการคำนวณสูงออกไป ประการที่สอง ผ่านวงจรการปรับปรุงตนเองแบบเรียกซ้ำ (RSI) เพื่อค้นหาการรวมเคอร์เนลและการจัดวางหน่วยความจำที่รวมการคำนวณหลายอย่างเข้าด้วยกันโดยอัตโนมัติ พร้อมทั้งประเมินความล่าช้าและความสอดคล้องทางตัวเลขไปพร้อมกันด้วย
ผลลัพธ์หลัก
บทคัดย่อรายงานว่าการใช้การปรับแต่งทั้งสองอย่างร่วมกันทำให้ความเร็วแบบ end-to-end เพิ่มขึ้นสูงสุด 30 เท่า และประหยัดหน่วยความจำได้ประมาณ 20% นอกจากนี้ บนโหนด GB200 จำนวน 8 โหนด สามารถสร้างวิดีโอความยาว 5 วินาที (รวมเสียง) ได้เร็วกว่าเวลาจริง 3.5 เท่า และบน DGX Spark ตัวเดียว สามารถโหลดเข้าหน่วยความจำทั้งหมดและสร้างเสร็จได้ภายในเวลาไม่ถึง 1 นาที
ข้อจำกัดและประเด็นที่ควรตรวจสอบ
ในบทคัดย่อไม่ได้ระบุตัวชี้วัดคุณภาพว่าความเร็วที่เพิ่มขึ้น 30 เท่านี้มาจากเกณฑ์มาตรฐานและการตั้งค่าใด และคุณภาพของวิดีโอที่สร้างขึ้นแตกต่างจากโมเดลเดิมอย่างไร นอกจากนี้ยังต้องคำนึงถึงคำว่า 'สูงสุด' และผลลัพธ์ภายใต้ configuration ของฮาร์ดแวร์เฉพาะเจาะจงด้วย
อธิบายศัพท์
- 扩散模型(Diffusion model) — วิธีการ AI ที่เริ่มต้นจากสัญญาณรบกวนสุ่มและค่อยๆ กำจัดสัญญาณรบกวนทีละขั้นตอนจนกลายเป็นภาพหรือวิดีโอ
- 추론(Inference) — กระบวนการนำอินพุตป้อนเข้าสู่โมเดล AI ที่ผ่านการฝึกอบรมแล้วเพื่อสร้างผลลัพธ์จริง
- VAE(변분 오토인코더) — อุปกรณ์ที่แปลงวิดีโอหรือภาพให้อยู่ในรูปแบบที่บีบอัดและคำนวณได้ง่าย แล้วจึงคืนสภาพกลับเป็นรูปแบบเดิม
- 잠재 공간(Latent space) — พื้นที่การแสดงผลภายในที่บีบอัดและเก็บเฉพาะข้อมูลสำคัญของวิดีโอ ซึ่งการคำนวณในพื้นที่นี้ช่วยลดต้นทุนได้
- 커널 퓨전(Kernel fusion) — เทคนิคการปรับแต่งที่รวมงานคำนวณหลายๆ งานเข้าด้วยกันเพื่อลดจำนวนครั้งที่ GPU เข้าถึงหน่วยความจำ
- 재귀적 자기 개선(RSI) — วิธีการที่โปรแกรมตรวจสอบวิธีการทำงานของตนเองซ้ำๆ และค้นหาวิธีที่ดีกว่าด้วยตนเองเพื่อปรับปรุงให้ดีขึ้น
- end-to-end 속도 — ความเร็วที่อิงจากเวลาทั้งหมดที่ใช้ตั้งแต่ช่วงเวลาที่ใส่อินพุตจนกระทั่งได้ผลลัพธ์สุดท้ายออกมา
บทสรุปนี้เขียนโดย AI จากบทคัดย่อของงานวิจัยและตรวจสอบโดยผู้ดูแล บทสรุปในหน้านี้แปลโดย AI จากฉบับภาษาเกาหลีที่ผู้ดูแลตรวจสอบแล้ว โปรดดูตัวเลขและบริบทที่แน่นอนในต้นฉบับ
หน้านี้รวบรวมงานวิจัยที่เผยแพร่ ประกาศอย่างเป็นทางการ และรายงานข่าว เพื่อเป็นข้อมูลเท่านั้น บทสรุปงานวิจัยเขียนโดย AI จากบทคัดย่อและตรวจสอบโดยผู้ดูแล อาจแตกต่างจากต้นฉบับ โปรดตรวจสอบต้นฉบับสำหรับเนื้อหาสำคัญ ไม่ใช่คำแนะนำให้ซื้อหรือขายหลักทรัพย์ใดหรือคำปรึกษาด้านการลงทุน การย้ายงานอ้างอิงประกาศอย่างเป็นทางการหรือสื่อหลัก และประวัติการทำงานบางส่วนอ้างอิงจาก Wikidata (CC0) บทสรุปในหน้านี้แปลโดย AI จากฉบับภาษาเกาหลีที่ผู้ดูแลตรวจสอบแล้ว
