未来の文脈を反映してブロック拡散言語モデルの学習を改善した研究

研究の背景

大規模言語模型は通常トークンを1つずつ順番に生成しますが、ブロック拡散言語模型はブロック単位で複数のトークンを並列に生成することで速度を向上させることができる方式です。このようなモデルを最初から学習するのではなく、性能が検証された既存の自己回帰モデルを蒸留（大きなモデルの知識を小さなモデルに移す方法）によって変換する研究が増えています。しかし、2つのモデルが同じ状況下で異なる情報を見て予測するため、学習シグナルが食い違う問題があるとアブストラクトは指摘しています。

手法

d-OPD は、学生モデルが自ら生成した状態で学習するオンポリシー蒸留（OPD）方式をベースとしています。教師モデルの予測分布を、各ブロック内で学生が見ることができる未来のトークン情報まで反映するように補正し、学生が実際に使用する情報と一致させると説明しています。

主な結果

Qwen3の0.6Bから8Bまで様々なサイズのモデルで実験を行い、6つのベンチマークの平均が従来の OPDLM よりも最大4.0点高くなりました。同じ学習にかかる時間が1.35〜1.58倍短縮されたと報告しています。

限界・確認すべき点

アブストラクトには、個別ベンチマークの詳細スコア、実際のテキスト生成速度の測定値、使用されたベンチマークの名前などは記載されていません。「最大4.0点」は特定条件下での最大値であるため、すべての状況で同様の向上が見られるとは限りません。

用語解説

• 自己回帰（AR）モデル — 手前からトークン（単語の断片）を1つずつ順番に予測して文章を作る方式の言語モデルです。
• ブロック拡散言語モデル（dLLM） — 文章を複数のトークンの束（ブロック）単位に分け、各ブロック内のトークンを複数回にわたって同時に洗練させながら生成するモデルです。
• 蒸留（distillation） — 性能の優れた大きなモデル（教師）の出力方式を模倣させて、別のモデル（学生）を学習させる手法です。
• オンポリシー蒸留（OPD） — 学生モデルが自ら作り出した状況において教師が正解シグナルを与えながら学習させる方式であり、学習時と実際の生成時のギャップを軽減します。
• トークン — 言語モデルが処理する最小単位であり、単語全体や単語を分割した断片を指します。
• デノイジング（denoising） — 最初は不完全または隠された状態から始まり、徐々に正確な結果へと洗練させていくプロセスを指します。
• ベンチマーク — モデルの性能を同一の基準で比較するために定められたテスト問題の集まりです。