動画生成

【Diffusers】AnimateLCM + FreeInit で動画を作成してみる

結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 最大32フレームまで作れるようです。Pythonスクリプト import torch from diffusers import MotionAdapter, AnimateDiffPipeline, LCMScheduler from diffusers.utils import expor…

【Image2Video】Diffusers に新たに実装された I2VGenXL で動画を作成してみる

github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720(16:9)の画像なので比較的大きい動画が作れます。 (しかし、なぜか作成された動画は1280x704にな…

【Image2Video】【Diffusers】PIA(Personalized Image Animator)+ FreeInit で動画を作成

はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…

【Video2Video】Diffusers で AnimateDiffVideoToVideoPipeline というのが公開されていたので AnimateDiff v2 と v3 で実行してみました。

PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…

【Diffusers】AnimateDiff + FreeInit が Diffusers から使えるようになりました。

はじめに以前「FreeInit」についての記事を書きました。 touch-sp.hatenablog.com Diffusersから使えるようになって環境設定、使い方など非常に簡単になっています。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 …

【Moore-AnimateAnyone】1枚の画像とポーズ動画から動画を作成する

github.com はじめに本家の「AnimateAnyone」はこちらです。 github.com 本家のサイトではスクリプトや学習済みパラメーターが公開されていません。 今回使用した「Moore-AnimateAnyone」はレポートを参考に作者なりに本家に近づくように作成したモデルのよ…

【Video2Video】「Rerender A Video」がDiffusersから使えるようになっていたのでさっそく使ってみました。

はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…

【Image2Video】PIA(Personalized Image Animator)を使って動画を作成してみました

github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…

【Video2Video】LongAnimateDiff を使って長い動画を作成する

はじめに以前長い動画を作成する方法を書きました。 touch-sp.hatenablog.com 今回は「LongAnimateDiff」というのを使ってみます。 github.com Diffusers用に変換こちらで紹介した「convert_animatediff_motion_module_to_diffusers.py」を使って「lt_long_m…

【Diffusers】AnimateDiff + Multi-ControlNet で作成する動画のフレーム数上限を上げる方法

はじめにこちらの続きです。 touch-sp.hatenablog.com この記事ではフレーム数上限は32だと書きました。 その上限を上げる方法が見つかったので紹介します。方法こちらの記事で「convert_animatediff_motion_module_to_diffusers.py」を使ってモーションモジ…

【AnimateDiff】Diffusers用にモーションモジュールを変換するスクリプトが公開されたので Diffusers から AnimateDiff v3 が使えるようになりました。

変換用スクリプトファイル名は「convert_animatediff_motion_module_to_diffusers.py」です。こちらのスクリプトです。 github.com 変換方法 python convert_animatediff_motion_module_to_diffusers.py ` --ckpt_path v3_sd15_mm.ckpt ` --use_motion_mid_b…

【AnimateAnyghing】AnimateAnyghing を使って Image2Videoを試してみる

github.com はじめに以前AnimateDiff Motion Module v3 と SparseCtrl を使って同じことをしました。 touch-sp.hatenablog.com AnimateAnyghingでは変化させたくない部分をそのまま残せます。その点が前回との違いになります。元画像用意した1枚の画像に動き…

【AnimateDiff】Motion Module v3 と SparseCtrl で Image2Video を試してみる

元画像用意した1枚の画像に動きを持たせることが目的です。 以下のスクリプトで作成しました。 from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManage…

【AnimateDiff】Motion Module v3 が公開されたので v2 と比較してみました。

はじめにv2はこちらを見てください。 touch-sp.hatenablog.com v2と全く同じ環境で動作可能でした。YAMLファイル以下のようなYAMLファイルを用意しました。 # 1-animation - adapter_lora_path: "models/Motion_Module/v3_sd15_adapter.ckpt" dreambooth_pat…

動画の質を向上させる FreeInit を紹介します。

github.com はじめに公式ページそのまま We propose FreeInit, a concise yet effective method to improve temporal consistency of videos generated by diffusion models. FreeInit requires no additional training and introduces no learnable paramet…

【Diffusers】AnimateDiff + Multi-ControlNet + IP-Adapterで動画作成してみる

目的この女性が歩く動画(アニメ調)を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気が…

【Diffusers】AnimateDiff + Multi-ControlNet で動画作成してみる

はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeEr…

【Diffusers】AnimateDiff + IP-Adapter で動画作成してみる

IP-Adapter用の画像を作成まずは「yabalMixTrue25D」というモデルを使って女性の画像を作成しました。 なんとなく作ったのですが手の描写が完璧すぎて驚きました。 from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler, AutoencoderKL pi…

【Diffusers】AnimateDiff + ControlNet で動画作成してみる

はじめに最近DiffusersのAnimateDiffでControlNetが使えるようになりました。さっそく使ってみました。環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytor…

MagicAnimate で 使用できる DensePoseモーション動画を作成する

環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10方法① Python環境構築動画作成後にMagicAnimateを使うことを想定して環境構築します。たったの2行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-…

巷でうわさの「MagicAnimate」を使ってみました

github.com 環境 環境構築 CUDA 11.7の場合 CUDA 11.8の場合 準備 実行(GUIなし) YAMLファイルの作成 実行 実行(Gradio:GUIあり) 続き 環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10Python 3.10以外でも動くと思いますが確認はできていませ…

Stable Video Diffusion が Diffusers から使えるようになりました

はじめにStable Diffusion を開発している Stability AI が公開した「Stable Video Diffusion」についての記事を以前書きました。 touch-sp.hatenablog.com 最近、Diffusersから使えるようになって環境構築など非常に簡単になりました。 github.com さっそく…

Stable Diffusion を開発している Stability AI が「Stable Video Diffusion」という image-to-videoモデルを公開しました

github.com はじめに新しく公開された「Stable Video Diffusion」は image-to-videoモデルです。画像を一枚用意したらそれを動画化してくれます。環境二つの環境で動作確認しました。Windows 11 Windows 11 NVIDIA Drive 546.01 CUDA 11.8 Python 3.10Python…

【Diffusers】AnimateDiff で Latent Consistency Model (LCM) が使えます

はじめにLatent Consistency Model (LCM) は画像生成の高速化を可能にします。基本的な使い方は以前記事を書いたのでそちらを参照して下さい。 touch-sp.hatenablog.com AnimateDiff でも Latent Consistency Model (LCM) が使えるようなので動画生成の高速…

AnimateDiff が SDXL に対応したのでさっそく使ってみました。

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 12.1 Python 3.10 torch==2.1.1+cu121Python環境構築1行で済むようにrequirements.txtを作成しました。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/AnimateDiff_SDXL/req…

Diffusers から AnimateDiff が使えるようになりました

github.com 動作環境動作確認できた環境です。必ずしもこれでなければいけないということはありません。Windows 11 Windows 11 CUDA 11.7 Python 3.10WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10環境構築CUDA 11.8の場合 pip install torch==2.0.1+cu1…

【LongerCrafter (FreeNoise)】LongerCrafter という動画作成モデルを試してみました

github.com はじめに「LongerCrafter」は「FreeNoise」という方法を用いた動画生成モデルです。高品質の長い動画を生成することができるのが特徴とされています。さっそく試してみました。環境構築 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10 1行で環境構…

【Rerender A Video】【Video2Video】また新しい動画生成モデルを見つけたのでさっそく試してみました。

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 git clone https://github.com/williamyang1991/Rerender_A_Vi…

animatediff-cli-prompt-travel の create-config で動画の各フレームに対してプロンプトを自動生成したら余計な単語がたくさん入ってきたので Perl で一括削除しました

animatediff-cli-prompt-travel の create-config を行うと以下のように各フレームに対してプロンプトを返してくれます。 "0": "(blonde_hair:0.83),(long_hair:0.83),(looking_at_viewer:0.61),(blue_shirt:0.50),(denim:0.35),(pants:0.68),(teeth:0.41),(…

【Hotshot-XL】SDXLモデルを使った動画作成

はじめにいろいろな動画生成AIに触れてきましたが今までのはほぼすべてStable Diffusion 1.5をベースとしたモデルを使用していました。今回SDXLをベースとした動画作成モデルが公開されていたので使ってみました。 github.com 導入 Windows 11 CUDA 11.7 Pyt…