論文
未来の文脈を反映してブロック拡散言語モデルの学習を改善した研究
d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models
- 何を
- 従来の自己回帰(一度に1トークンずつ生成する)言語模型を、複数のトークンをまとめて並列に生成するブロック拡散言語模型へと変換する蒸留学習手法である d-OPD を提案しました。
- 主な結果
- Qwen3モデル(0.6B〜8B)を用いた実験において、従来手法である OPDLM と比較して6つのベンチマークの平均スコアを最大4.0点高め、学習時間を1.35〜1.58倍短縮したと報告しています。
- 意味
- ブロック単位で複数のトークンを同時に生成する方式にはテキスト生成速度を向上させる余地があり、本研究はそのようなモデルを作る学習プロセスの効率を改善できることを示しているとアブストラクトは述べています。AI要約