งานวิจัย
งานวิจัยที่ปรับปรุงการฝึกโมเดลภาษาแบบบล็อกดิฟฟิวชันโดยคำนึงถึงบริบทในอนาคต
d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models
- ทำอะไร
- เสนอ d-OPD ซึ่งเป็นวิธีการเรียนรู้แบบกลั่นความรู้เพื่อเปลี่ยนโมเดลภาษาแบบautoregressive แบบดั้งเดิม (ที่สร้างทีละโทเค็น) ให้เป็นโมเดลภาษาแบบบล็อกดิฟฟิวชันที่สร้างหลายโทเค็นแบบขนานกัน
- ผลลัพธ์หลัก
- รายงานว่าในการทดลองกับโมเดล Qwen3 (0.6B ถึง 8B) คะแนนเฉลี่ยจากเกณฑ์มาตรฐานหกรายการเพิ่มขึ้นสูงสุด 4.0 คะแนน เมื่อเทียบกับวิธีเดิมอย่าง OPDLM และเวลาในการฝึกฝนลดลง 1.35 ถึง 1.58 เท่า
- ความสำคัญ
- บทคัดย่อระบุว่าวิธีการสร้างหลายโทเค็นพร้อมกันในระดับบล็อกมีศักยภาพที่จะช่วยเพิ่มความเร็วในการสร้างข้อความ และงานวิจัยนี้แสดงให้เห็นว่าสามารถปรับปรุงประสิทธิภาพของกระบวนการฝึกฝนในการสร้างโมเดลดังกล่าวได้สรุปโดย AI
