動画生成のための体系的ポストトレーニングフレームワーク
A Systematic Post-Train Framework for Video Generation
要約
大規模動画拡散モデル（video diffusion model）は高解像度・高品質コンテンツの生成で優れた能力を示す一方、プロンプト感度・時間的一貫性の欠如・推論コストの高さといった課題により、事前学習性能と実用展開の間に大きなギャップが存在する。本研究ではこのギャップを埋めるため、4段階の相乗的ステージからなる包括的ポストトレーニングフレームワークを提案する。具体的には、①ベースモデルを安定した指示追従ポリシーへと変換するSFT（Supervised Fine-Tuning）、②動画拡散向けに設計したGRPO（Group Relative Policy Optimization）を用いたRLHF（Reinforcement Learning from Human Feedback）による知覚品質・時間的一貫性の向上、③専用言語モデルによるプロンプト拡張（Prompt Enhancement）、④推論最適化（Inference Optimization）を順次適用する。広範な実験により、このパイプラインがアーティファクトを効果的に軽減し、制御性と視覚的美観を大幅に改善しながらサンプリングコスト制約を遵守することを示している。
筆者コメント
本論文の最大の貢献は、動画生成モデルのポストトレーニングを「SFT→RLHF(GRPO)→プロンプト拡張→推論最適化」という4段階として体系化した点にあると考えられる。LLM分野ではInstructGPTなどで確立されたSFT+RLHFパイプラインが、動画生成という時間次元を持つ難タスクにどこまで有効か、という問いへの実践的な回答と見られる。特にGRPOをvideo diffusionに適用した点は興味深く、PPOよりも安定した学習が期待できる反面、動画固有の報酬設計（temporal coherenceをどうスカラー報酬化するか）の詳細が論文本文で十分に開示されているかは確認が必要だろう。実務観点では、日本語プロンプトへの対応時にPrompt Enhancementステージが翻訳・言語モデルの品質に依存する点が懸念される。また4ステージ分の計算コストは相当なものになると推測され、中小規模の組織が再現・応用するハードルは依然高い可能性がある。一方で本フレームワークを「青写真（blueprint）」として公開する姿勢は、動画生成モデルのファインチューニング研究を加速させる貢献として重要と考えられる。
※ このコメントは本サイト独自のものです。論文・記事の公式見解ではありません。