【Hotshot-XL】SDXLモデルを使った動画作成

はじめに

いろいろな動画生成AIに触れてきましたが今までのはほぼすべてStable Diffusion 1.5をベースとしたモデルを使用していました。

今回SDXLをベースとした動画作成モデルが公開されていたので使ってみました。
github.com

導入

Windows 11
CUDA 11.7
Python 3.11

1行でPython環境が構築できるようにrequirements.txtを作成しました。

pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/Hotshot-XL/requirements.txt

実行

リポジトリのクローン

git clone https://github.com/hotshotco/Hotshot-XL
cd Hotshot-XL

モデルのダウンロード

mkdir hotshotco
cd hotshotco
git lfs install
git clone https://huggingface.co/hotshotco/Hotshot-XL

実行

準備が整ったら「Hotshot-XL」フォルダに戻って以下を実行するだけです。

「Hotshot-XL」フォルダが二つあるので気を付けて下さい。

リポジトリをクローンした時の「Hotshot-XL」フォルダです。

python inference.py ^
  --prompt "Sasquatch scuba diving, anime style" ^
  --output "output_scuba.gif"

結果

動画はGoogle Bloggerに載せています。
support-touchsp.blogspot.com

補足

他のモデルを使う

OsorubeshiMerge v1.0

python inference.py ^
  --prompt "Sasquatch scuba diving, anime style" ^
  --output "output_scuba.gif" ^
  --spatial_unet_base "hotshotco/osorubeshimerge_v10_ema/unet"

モデルはCIVITAIからダウンロードしてDiffusersフォーマットに変換が必要です。

変換の方法はこちらを参照して下さい。
touch-sp.hatenablog.com

ランキング参加中

プログラミング