【Text2Video-Zero】【動画生成AI】作った動画に背景をつけてみました

前回の続きです。
touch-sp.hatenablog.com


今回は流れるような背景をつけてみました。少し流れ方が速すぎるような気もしますが(笑)。




もっと良い画像が出来たら適宜更新します。

方法

Step 1:動画を作成する

前回通りです。
touch-sp.hatenablog.com

Step 2:背景を消す

「rembg」を使いました。
github.com
動画に対して「rembg」を使うためのスクリプトを書きました。
こちらです→「video2images.py

python video2images.py --video sample.mp4 --rembg u2net_human_seg

Step 3:背景画像を作成する

「MultiDiffusion」を使いました。
touch-sp.hatenablog.com

Step 4:背景と人物を重ね合わせる

Step2で「rembg」を使ったときに動画は画像に分解されています。
分割した背景画像を画像ごとに重ねました。
そのためのスクリプトを書きました。
こちらです→「add_background.py

Step 5:画像から動画を作成する

そのためのスクリプトを書きました。
こちらです→「images2video.py

python images2video.py --folder images_with_bg --fps 12