【Text2Video-Zero】【Diffusers】Diffusers から Text2Video-Zero が使えるようになったのでさっそく使ってみました

最終更新日:2023年6月13日
DiffusionのText2Video-ZeroがTorch2.0用にアップデートされました。
VRAM使用量が改善したようなので記事を更新しました。
github.com

結果




左のポーズ動画から右の動画を作成しました。

ポーズ動画はこちらからダウンロードさせて頂きました。

方法

GitHubに載せました。よかったら見て下さい。
github.com

VRAM使用量

chunk_size = 2

7.9GBの使用でした。

以前は9.0GBでした。
2023年6月のアップデートでVRAM使用量が9.0→7.9GBに減少しています。

chunk_size = 3

9.5GBの使用でした。

以前は11.1GBでした。
2023年6月のアップデートでVRAM使用量が11.1→9.5GBに減少しています。

chunk_size = 4

11.1GBの使用でした。

以前は13.1GBでした。
2023年6月のアップデートでVRAM使用量が13.1→11.1GBに減少しています。

補足

さらにVRAM使用量を減らすために「enable_sequential_cpu_offload()」を使う方法があります。
touch-sp.hatenablog.com