提出降低视频生成AI速度与内存消耗的技术

研究背景

用于视频生成的扩散模型性能提升迅速，但通过逐步去除噪声来生成视频的过程需要重复多次，计算量非常巨大。摘要指出，这导致云端出现生成延迟，而在DGX Spark等小型设备上则面临严苛的内存限制。

方法

研究团队从两个方向进行了切入。首先，设计了两阶段生成调度器，前期使用低分辨率把握整体结构，后期使用高分辨率打磨细节，并通过学习得到的潜空间映射模块处理不同分辨率阶段之间的转换，从而省去了计算成本高昂的VAE（用于压缩并还原视频的装置）解码和重新编码过程。其次，通过递归自我改进（RSI）循环，自动探索将多个运算合并为一个的算子融合以及内存布局方式，并同时评估了延迟与数值一致性。

主要结果

摘要报告称，结合使用这两种优化手段，实现了最高达30倍的端到端速度提升和约20%的内存节省。此外，在8个GB200节点上，能够以比实时快3.5倍的速度生成5秒长的视频（含音频），并且在单台DGX Spark上，可在1分钟内将模型完全加载至内存中并完成生成。

局限与待确认之处

摘要中并未提供关于30倍提升是在何种对比基准与设置下得出的数值，也没有说明生成视频的画质与原始模型有何差异的质量指标。同时，也需要综合考量"最高"这一表述以及特定硬件配置下的测试结果。

术语解释

• 扩散模型(Diffusion model) — 一种从随机噪声开始，经过多个步骤一点点去除噪声来生成图像或视频的AI方法。
• 推理(Inference) — 将输入放入已完成训练的AI模型中以生成实际结果的过程。
• VAE(变分自编码器) — 将视频或图像转换为便于计算的压缩形式，然后再将其还原为原始形态的装置。
• 潜空间(Latent space) — 仅压缩并容纳视频核心信息的内部表示空间，在此空间进行计算可以减少开销。
• 算子融合(Kernel fusion) — 将多个计算任务合并为一个，以减少GPU访问内存次数的优化技术。
• 递归自我改进(RSI) — 程序对其运行方式进行重复检查并自主寻找更好方式进行改进的方法。
• 端到端速度 — 以从输入开始到最终结果产出为止所花费的整体时间为基准的速度。