巷でうわさの「MagicAnimate」を使ってみました

環境
環境構築
- CUDA 11.7の場合
- CUDA 11.8の場合
準備
実行（GUIなし）
- YAMLファイルの作成
- 実行
実行（Gradio：GUIあり）
続き

環境

Ubuntu 22.04 on WSL2
CUDA 11.7 or 11.8
Python 3.10

Python 3.10以外でも動くと思いますが確認はできていません。

環境構築

requirements.txtを作成したので環境構築は1行です。

CUDA 11.7の場合

pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-animate/requirements_cu117.txt

CUDA 11.8の場合

pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-animate/requirements_cu118.txt

準備

学習済みモデルをダウンロードするためのPythonスクリプトを書いたので非常に簡単です。

リポジトリをクローンした後、ダウンロード用スクリプトをダウンロードして実行するだけです。

ただし、ダウンロードには時間がかかります。

git clone https://github.com/magic-research/magic-animate
cd magic-animate
wget https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-animate/download_model.py
python download_model.py

実行（GUIなし）

YAMLファイルの作成

pretrained_model_path: "pretrained_models/stable-diffusion-v1-5"
pretrained_vae_path: "pretrained_models/sd-vae-ft-mse"
pretrained_controlnet_path: "pretrained_models/MagicAnimate/densepose_controlnet"
pretrained_appearance_encoder_path: "pretrained_models/MagicAnimate/appearance_encoder"
pretrained_unet_path: ""

motion_module: "pretrained_models/MagicAnimate/temporal_attention/temporal_attention.ckpt"

savename: null

fusion_blocks: "midup"

seed:           [1]
steps:          25
guidance_scale: 7.5

source_image:
  - "inputs/applications/source_image/monalisa.png"
video_path:
  - "inputs/applications/driving/densepose/running.mp4"

inference_config: "configs/inference/inference.yaml"
size: 512
L:    16
S:    1 
I:    0
clip: 0
offset: 0
max_length: null
video_type: "condition"
invert_video: false
save_individual_videos: false

実行

python -m magicanimate.pipelines.animation --config mysettings.yaml

実行（Gradio：GUIあり）

python -m demo.gradio_animate

続き

DensePoseモーション動画の作成方法はこちらを見てください。

非常に簡単です。
touch-sp.hatenablog.com

ランキング参加中

プログラミング