animatediff-cli-prompt-travel であえて ControlNet を使った Video2Video を行う

はじめに

animatediff-cli-prompt-travel は名前にpromptという単語が含まれている通り Text2Video を行うモデルです。

今回はあえて ControlNet を使った Video2Video を行ってみました。

animatediff-cli-prompt-travel に関しての過去の記事はこちらです。
touch-sp.hatenablog.com
touch-sp.hatenablog.com

環境構築

2024年1月20日に更新しました。

pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --index-url https://download.pytorch.org/whl/cu118
git clone https://github.com/s9roll7/animatediff-cli-prompt-travel
cd animatediff-cli-prompt-travel
pip install -e .
pip install onnxruntime-gpu
pip install pandas

結果

作成した動画はGoogle Bloggerに載せています。
support-touchsp.blogspot.com

動画ファイル

今回はこちらからダウンロードした「dance5.mp4」という動画を使わせて頂きました。

Configファイル

{
  "name": "sample",
  "path": "safetensors/mistoonAnime_v20.safetensors",
  "motion_module": "models/motion-module/mm_sd_v15_v2.ckpt",
  "compile": false,
  "seed": [
    2211774462
  ],
  "scheduler": "k_dpmpp_sde",
  "steps": 20,
  "guidance_scale": 10,
  "clip_skip": 1,
  "prompt_fixed_ratio": 0.5,
  "head_prompt": "anime style, high quality, best quality, man, wearing sunglasses",
  "prompt_map": {
    "0": "dancing",
    "18": "dancing",
    "36": "dancing",
    "54": "dancing"
  },
  "n_prompt": [
    "easynegative, bad_prompt_version2-neg"
  ],
  "output":{
    "format" : "gif",
    "fps" : 8,
    "encode_param":{
      "crf": 10
    }
  },
  "lora_map": {
    "lora/more_details.safetensors" : 1.0
  },
  "controlnet_map": {
    "input_image_dir" : "controlnet_image/test",
    "max_samples_on_vram": 200,
    "max_models_on_vram" : 3,
    "save_detectmap": true,
    "preprocess_on_gpu": true,
    "is_loop": false,
    "controlnet_lineart": {
      "enable": true,
      "use_preprocessor":true,
      "guess_mode":false,
      "controlnet_conditioning_scale": 0.8,
      "control_guidance_start": 0.0,
      "control_guidance_end": 1.0,
      "control_scale_list":[]
    },
    "controlnet_depth": {
        "enable": true,
        "use_preprocessor":false,
        "guess_mode":false,
        "controlnet_conditioning_scale": 0.8,
        "control_guidance_start": 0.0,
        "control_guidance_end": 1.0,
        "control_scale_list":[]
      }
  }
}

実行

animatediff generate -c config/prompts/config3.json -W 512 -H 512 -L 76 -C 24