顔は崩れてしまいましたがフレーム間の一貫性が保たれています。
着ている服や靴、背景に注目して下さい。
はじめに
MasaCtrlに関しては以下を参照して下さい。touch-sp.hatenablog.com
ざっくり言うと一貫性のある画像（例えば同じキャラクターの姿勢違いなど）を生成することが可能です。
今回はMasaCtrlを利用して動画作成してみました。
参照動画
ポーズ動画はこちらからダウンロードさせて頂きました。冒頭の結果の左側動画です。
感想
以前Text2Video-Zeroというモデルを使って動画作成したことがあります。touch-sp.hatenablog.com
今回顔は崩れてしまっていますがMasaCtrlの方がフレーム間の一貫性が保たれている印象です。
実行方法
python masactrl_w_adapter.py ^ --which_cond openpose ^ --cond_path_src 0.png ^ --cond_path pose ^ --cond_inp_type openpose ^ --prompt_src "1boy, casual, outdoors, dancing" ^ --prompt "1boy, casual, outdoors, dancing" ^ --sd_ckpt models/sd-v1-4.ckpt ^ --resize_short_edge 512 ^ --cond_tau 1.0 ^ --cond_weight 1.0 ^ --n_samples 1 ^ --adapter_ckpt models/t2iadapter_openpose_sd14v1.pth
参照動画をいったん画像にばらしました。
全16フレームありました。
0.png以外の15画像を「pose」というフォルダに集めています。
最後作成された画像をあつめて動画にしました。
