论文
引入未来上下文以改进块扩散语言模型训练的研究
d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models
- 做了什么
- 提出了 d-OPD,这是一种蒸馏训练方法,用于将传统的自回归(一次生成一个标记)语言模型转化为以块为单位并行生成多个标记的块扩散语言模型。
- 核心结果
- 据报告,在 Qwen3 模型(0.6B 至 8B)的实验中,与现有方法 OPDLM 相比,六个基准测试的平均分最多提高了 4.0 分,同时训练时间缩短了 1.35 到 1.58 倍。
- 意义
- 摘要指出,以块为单位同时生成多个标记的方法有望提高文本生成速度,而本研究表明可以提高构建此类模型的训练过程效率。AI 摘要