引入未来上下文以改进块扩散语言模型训练的研究

研究背景

大型语言模型通常按顺序逐个生成标记，而块扩散语言模型可以通过以块为单位并行生成多个标记来提高速度。与其从头训练此类模型，研究人员越来越多地通过蒸馏（将大模型的知识转移到小模型的方法）将性能经过验证的现有自回归模型进行转换。然而，摘要指出，由于两个模型在相同情境下查看和预测不同的信息，存在训练信号错位的问题。

方法

d-OPD 基于在线策略蒸馏（OPD）方法，即学生模型根据自身生成的状态进行学习。它通过校正教师模型的预测分布，使其反映学生在每个块内可以看到的未来标记信息，从而使其与学生实际使用的信息保持一致。

主要结果

在从 Qwen3 0.6B 到 8B 的多种模型规模上进行了实验，六个基准测试的平均分比现有的 OPDLM 最多高出 4.0 分。据报告，完成相同训练所需的时间缩短了 1.35 到 1.58 倍。

局限与待确认之处

摘要未提供各个基准测试的详细分数、实际文本生成速度的测量值以及所使用的基准测试名称。由于 "最高 4.0 分" 是特定条件下的最大值，因此不能认为所有情况下都能实现相同的提升。

术语解释

• 自回归（AR）模型 — 一种从前往后依次预测标记（词片段）来构建句子的语言模型。
• 块扩散语言模型（dLLM） — 一种将句子划分为多个标记块，并同时对每个块内的标记进行多次迭代精炼来生成文本的模型。
• 蒸馏（distillation） — 一种模仿性能优秀的大模型（教师）的输出方式来训练另一个模型（学生）的技术。
• 在线策略蒸馏（OPD） — 一种由教师模型在学生模型自己生成的情境下提供正确答案信号进行训练的方法，可减少训练与实际生成之间的差异。
• 标记 — 语言模型处理的最小单位，指整个词或词被拆分后的片段。
• 去噪（denoising） — 指从最初不完整或被遮掩的状态开始，逐步将其精炼为准确结果的过程。
• 基准测试 — 为在相同标准下比较模型性能而设定的测试题集合。