【zeroscope_v2_576w】【Diffusers】新モデルを試してみる

はじめに

以前Diffusersを使って9行でビデオを作成しました。
touch-sp.hatenablog.com
今回は新しいモデル「zeroscope_v2_576w」を試してみました。

Pythonスクリプト

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "spiderman running in the desert"
video_frames = pipe(prompt, num_inference_steps=40, height=320, width=576, num_frames=24).frames
export_to_video(video_frames, output_video_path="result.mp4")

たったこれだけです。モデルのダウンロードも自動的に行われます。

結果

以前のモデルで見られた「shutterstock」というウォーターマーク（透かし）はなくなっています。
品質が劇的に改善したということは残念ながらなさそうです。

VRAM使用量

VRAM 11.7GB使用していました。