低解像度動画を1回の処理で4K水準に引き上げる SoL-Refiner

研究の背景

高解像度動画は空間と時間にわたるトークン（動画を細切れにしたデータ単位）の数が多く、生成コストが急速に増大します。そのため、まず低解像度の動画を作成した後に画質を向上させる手法が現実的な代替案として使われていますが、既存の複数段階の画質改善方式はそれ自体が処理時間のボトルネックとなります。

手法

主な結果

2K解像度において、1段階方式のSoL-RefinerはVBenchとUniPerceptの平均スコアで比較対象となったすべての外部リファイナーを上回りました。3840×2176解像度でも3段階方式のLTX-2.3リファイナーより両方の指標が高く、全体的な加速手法を適用した場合、2K遅延設定において同一の基準対比で8.91倍の速度向上を示しました。

限界・確認すべき点

アブストラクトには、学習に必要な計算資源やコスト、実際のサービス環境での性能は記載されていません。ベンチマークや速度の測定も著者らが構築した条件と2K遅延設定で行われたため、他の環境での結果は確認できません。

用語解説

• トークン（token） — 動画や文章をモデルが処理できるように細かく分割したデータ単位です。動画は空間と時間方向でトークンが多くなり、計算量が大きくなります。
• リファイナー（refiner） — すでに作成された動画の画質をより鮮明で自然に整える後処理モデルです。
• ノイズ除去ステップ（denoising step） — ノイズが混ざった状態から徐々にきれいな動画へと変換する1回の計算プロセスです。ステップ数が多いほど通常は時間がかかります。
• 蒸留（distillation） — 複数の段階を経て得られていた結果を、より少ない段階で同等の水準に近づけるようにモデルを学習させる手法です。
• 強化学習（RL） — モデルが出力した結果にスコア（報酬）を与え、スコアが高くなる方向にモデルを調整する学習方式です。
• 遅延（latency） — 入力を行ってから結果が出力されるまでに要する時間です。値が小さいほど速いことを意味します。