SoL-Refiner：通过单步处理将低分辨率视频提升至4K水平

研究背景

高分辨率视频在空间和时间上的标记（将视频分割为小块的数据单位）数量较多，生成成本迅速上升。因此，先生成低分辨率视频再提升画质的做法是一个现实的替代方案，但现有的多步画质改善方法本身就成了处理时间的瓶颈。

方法

研究团队采用了三个阶段的学习流程：使用高分辨率数据继续训练的阶段、通过强化学习（基于奖励微调模型的方法）进行后调优的阶段，以及最后将多步任务压缩为单步的蒸馏（distillation）阶段。此外，他们构建了由多个视频生成器输出组成的名为Refiner-Bench的基准测试，通过输入相同内容进行对比来评估模型。

主要结果

在2K分辨率下，作为单步方法的SoL-Refiner在VBench和UniPercept的平均得分上超越了所有被对比的外部精炼器。在3840×2176分辨率下，其两项指标也高于三步法的LTX-2.3精炼器；当应用整体加速技术时，在2K延迟设置下，相较于相同基准实现了8.91倍的速度提升。

局限与待确认之处

摘要中并未提及训练所需的计算资源、成本以及在实际服务环境中的性能。基准测试和速度测量也是在作者配置的条件及2K延迟设置下进行的，因此无法确认在其他环境下的结果。

术语解释

• 标记（token） — 将视频或文本分割成便于模型处理的小块的数据单位。由于视频在空间和时间方向上的标记数量增加，导致计算量变大。
• 精炼器（refiner） — 一种后处理模型，用于将已经生成的视频画质打磨得更加清晰和自然。
• 去噪步骤（denoising step） — 在混合了噪声的状态下，逐步将其转变为清晰视频的单次计算过程。步骤越多，通常耗时越长。
• 蒸馏（distillation） — 一种模型训练技术，旨在用更少的步骤获得接近原本需要多步才能得到的结果。
• 强化学习（RL） — 对模型产生的结果给予评分（奖励），并朝着提高评分的方向调整模型的学习方法。
• 延迟（latency） — 从输入开始到输出结果所需的时间。数值越小，表示速度越快。