【Video2Video】LongAnimateDiff を使って長い動画を作成する

はじめに

以前長い動画を作成する方法を書きました。
touch-sp.hatenablog.com
今回は「LongAnimateDiff」というのを使ってみます。
github.com

Diffusers用に変換

こちらで紹介した「convert_animatediff_motion_module_to_diffusers.py」を使って「lt_long_mm_16_64_frames_v1.1.ckpt」をDiffusersフォーマットに変換しました。
touch-sp.hatenablog.com

python convert_animatediff_motion_module_to_diffusers.py `
--ckpt_path lt_long_mm_16_64_frames_v1.1.ckpt `
--use_motion_mid_block `
--output_path long_mm_64_v1.1 `
--motion_max_seq_length 64

Pythonスクリプト

こちらで使用したものをそのまま使用しました。
touch-sp.hatenablog.com

YAMLファイル

pretrained_model_path: "model/flat2DAnimerge_v45Sharp"
vae: 
  single_file: True 
  model_path: "vae/vae-ft-mse-840000-ema-pruned.safetensors"

motion_module_path: "long_mm_64_v1.1"

controlnet:
  - model_path: "controlnet/control_v11p_sd15_openpose"
    image_path: "controlnet-image/openpose.gif"
    conditioning_scale: 0.5
  - model_path: "controlnet/control_v11f1e_sd15_tile"
    image_path: "controlnet-image/tile.gif"
    conditioning_scale: 0.75

prompt: "anime style, high quality, best quality, man with black hair, wearing sunglasses, black sweater, dancing"
negative_prompt: "worst quality, low quality"

seed: 222
steps: 30
guidance_scale: 8.5
width: 512
height: 512
clip_skip: None

ip_adapter:
  enable: False
  folder: "IP-Adapter"
  subfolder: "models"
  weight_name: "ip-adapter-plus-face_sd15.safetensors"
  image_path: "face.png"
  scale: 0.6

lcm_lora:
  enable: False
  model_path: "lora/lcm-lora-sdv1-5"
  weight: 1.0

結果

結果はGoogle Bloggerに載せておきます。
support-touchsp.blogspot.com