動画生成AIの速度とメモリ使用量を削減する手法の提案

研究の背景

動画生成に使われる拡散モデルは性能が急速に向上しているものの、ノイズを段階的に取り除きながら動画を生成するプロセスが何度も繰り返されるため、計算量が非常に大きくなります。抄録では、このことがクラウドでは生成遅延を、DGX Sparkのような小型デバイスでは厳しいメモリ制限を引き起こしていると説明しています。

手法

研究チームは2つのアプローチをとりました。第一に、初期には低解像度で全体の構図を捉え、後半には高解像度で細部を整える2段階の生成スケジューラーを設計し、解像度が異なる段階間の変換を学習された潜在空間マッピングモジュールで処理することで、コストの高いVAE（動画を圧縮・復元する装置）のデコードおよび再エンコードのプロセスを省略しました。第二に、再帰的自己改善（RSI）ループを通じて、複数の演算を1つにまとめるカーネルフュージョンとメモリ配置方式を自動的に探索し、遅延時間と数値的一致度を共に評価しました。

主な結果

抄録では、両方の最適化を組み合わせて適用することで、最大30倍のエンドツーエンドの速度向上と約20%のメモリ削減が報告されています。また、8つのGB200ノードでは5秒の長さの動画（音声付き）をリアルタイムより3.5倍速く作成し、単体のDGX Sparkでは1分以内にメモリにすべて読み込ませた状態で生成したと明らかにしています。

限界・確認すべき点

抄録には、30倍の向上がどのような比較基準と設定から導き出された数値であるか、生成された動画の画質が元のモデルとどのように異なるかについての品質指標は記載されていません。「最大」という表現や特定のハードウェア構成での結果である点も併せて考慮する必要があります。

用語解説

• 拡散モデル(Diffusion model) — ランダムなノイズから出発し、複数のステップを経てノイズを少しずつ取り除きながら絵や動画を作り出すAIの手法です。
• 推論(Inference) — 学習が完了したAIモデルに入力を与えて、実際のresultsを作り出すプロセスです。
• VAE(変分オートエンコーダー) — 動画や画像を計算しやすい圧縮形態に変換し、再び元の形態に復元する装置です。
• 潜在空間(Latent space) — 動画のコア情報のみを圧縮して収めた内部表現空間であり、ここで計算を行うことでコストを削減できます。
• カーネルフュージョン(Kernel fusion) — 複数の計算タスクを1つにまとめ、GPUがメモリを行き来する回数を減らす最適化技法です。
• 再帰的自己改善(RSI) — プログラムが自身の実行方式を繰り返し点検し、より良い方式を自ら見つけて改善していく方法です。
• エンドツーエンド速度 — 入力を入れた瞬間から最終的な成果物が出来上がるまでにかかる全体時間を基準とした速度です。