動画生成

【Diffusers】「LTX Video」で動画作成(Text2Video)を行ってみる

PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers@ltx-integration pip install transformers accel…

Windows 11 で Hallo2 を使う時の環境をいろいろさぐってみた(WindowsでTritonを使う方法も)

はじめに前回の続きです。 touch-sp.hatenablog.com 動作可能な環境をいろいろさぐってみました。動作環境と環境構築Python 3.10 + CUDA 12.4 Windows 11 CUDA 12.4 Python 3.10pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 xformers --…

Windows 11 で Hallo2 を使ってみる

はじめに「Hallo2」は顔画像と音声ファイルからしゃべっている動画を作成するモデルです。「リップシンク」モデルと表現されることもあります。以前「SadTalker」というのを使ったことがあります。それと同じようなことができます。 touch-sp.hatenablog.com…

【Diffusers】「Allegro」で動画作成(Text2Video)を行ってみる

PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepiece im…

【Diffusers】「CogVideoX」でImage2Video

はじめに以前「Text2Video」を行いました。 touch-sp.hatenablog.com 今回は「Image2Video」を行いました。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.4.1+cu118 --index-url https://download.pyto…

【Diffusers】「CogVideoX」でText2Video

Python環境構築 pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install git+https://github.com/huggingface/accelerate pip install transformers se…

【Diffusers】【Video2Video】AnimateDiff + Multi-ControlNet + Multi-IP-Adapter + LCM-LoRA で動画作成してみる

はじめに前回の続きです。 touch-sp.hatenablog.com 変更点・Multi-IP-Adapterに対応しました。 (ただし、まだIP-AdapterのMulti-imagesには対応できていません)・モーション動画の作成をChampの方法(Blender使用)で行いました。 github.com 目的1つの動…

【Diffusers】【Video2Video】AnimateDiff + Multi-ControlNet + IP-Adapter + LCM-LoRA + FreeU で動画作成してみる

はじめに最近Diffusers Community Pipeline内にある「pipeline_animatediff_controlnet.py」のバグが修正されました。 github.com それに伴い過去の記事を少し書き直してみました。 touch-sp.hatenablog.com 変更点・FreeUを追加した ・「os」→「pathlib」に…

【Champ】写真に写る人物を躍らせる

はじめに「Champ」とは Controllable and Consistent Human Image Animation with 3D Parametric Guidance だそうです。 github.com 以前「Moore-AnimateAnyone」というのを試したことがあります。 touch-sp.hatenablog.com 今回の「Champ」は「Moore-Animat…

【Video2Video】「FRESCO」というモデルを使ってみる

はじめに過去に Video2Video をいろいろ試して、最も良い結果が得られたのが「Rerender A Video」でした。「Rerender A Video」の開発者が新たに「FRESCO」というのを公開してくれました。これは期待できるということでさっそく試してみました。「Rerender A…

【Diffusers】AnimateLCM + FreeInit で動画を作成してみる

結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 最大32フレームまで作れるようです。Pythonスクリプト import torch from diffusers import MotionAdapter, AnimateDiffPipeline, LCMScheduler from diffusers.utils import expor…

【Image2Video】Diffusers に新たに実装された I2VGenXL で動画を作成してみる

github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720(16:9)の画像なので比較的大きい動画が作れます。 (しかし、なぜか作成された動画は1280x704にな…

【Image2Video】【Diffusers】PIA(Personalized Image Animator)+ FreeInit で動画を作成

はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…

【Video2Video】Diffusers で AnimateDiffVideoToVideoPipeline というのが公開されていたので AnimateDiff v2 と v3 で実行してみました。

PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…

【Diffusers】AnimateDiff + FreeInit が Diffusers から使えるようになりました。

はじめに以前「FreeInit」についての記事を書きました。 touch-sp.hatenablog.com Diffusersから使えるようになって環境設定、使い方など非常に簡単になっています。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 …

【Moore-AnimateAnyone】1枚の画像とポーズ動画から動画を作成する

github.com はじめに本家の「AnimateAnyone」はこちらです。 github.com 本家のサイトではスクリプトや学習済みパラメーターが公開されていません。 今回使用した「Moore-AnimateAnyone」はレポートを参考に作者なりに本家に近づくように作成したモデルのよ…

【Video2Video】「Rerender A Video」がDiffusersから使えるようになっていたのでさっそく使ってみました。

はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…

【Image2Video】PIA(Personalized Image Animator)を使って動画を作成してみました

github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…

【Video2Video】LongAnimateDiff を使って長い動画を作成する

はじめに以前長い動画を作成する方法を書きました。 touch-sp.hatenablog.com 今回は「LongAnimateDiff」というのを使ってみます。 github.com Diffusers用に変換こちらで紹介した「convert_animatediff_motion_module_to_diffusers.py」を使って「lt_long_m…

【Diffusers】AnimateDiff + Multi-ControlNet で作成する動画のフレーム数上限を上げる方法

はじめにこちらの続きです。 touch-sp.hatenablog.com この記事ではフレーム数上限は32だと書きました。 その上限を上げる方法が見つかったので紹介します。方法こちらの記事で「convert_animatediff_motion_module_to_diffusers.py」を使ってモーションモジ…

【AnimateDiff】Diffusers用にモーションモジュールを変換するスクリプトが公開されたので Diffusers から AnimateDiff v3 が使えるようになりました。

変換用スクリプトファイル名は「convert_animatediff_motion_module_to_diffusers.py」です。こちらのスクリプトです。 github.com 変換方法 python convert_animatediff_motion_module_to_diffusers.py ` --ckpt_path v3_sd15_mm.ckpt ` --use_motion_mid_b…

【AnimateAnyghing】AnimateAnyghing を使って Image2Videoを試してみる

github.com はじめに以前AnimateDiff Motion Module v3 と SparseCtrl を使って同じことをしました。 touch-sp.hatenablog.com AnimateAnyghingでは変化させたくない部分をそのまま残せます。その点が前回との違いになります。元画像用意した1枚の画像に動き…

【AnimateDiff】Motion Module v3 と SparseCtrl で Image2Video を試してみる

元画像用意した1枚の画像に動きを持たせることが目的です。 以下のスクリプトで作成しました。 from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManage…

【AnimateDiff】Motion Module v3 が公開されたので v2 と比較してみました。

はじめにv2はこちらを見てください。 touch-sp.hatenablog.com v2と全く同じ環境で動作可能でした。YAMLファイル以下のようなYAMLファイルを用意しました。 # 1-animation - adapter_lora_path: "models/Motion_Module/v3_sd15_adapter.ckpt" dreambooth_pat…

動画の質を向上させる FreeInit を紹介します。

github.com はじめに公式ページそのまま We propose FreeInit, a concise yet effective method to improve temporal consistency of videos generated by diffusion models. FreeInit requires no additional training and introduces no learnable paramet…

【Diffusers】AnimateDiff + Multi-ControlNet + IP-Adapterで動画作成してみる

目的この女性が歩く動画(アニメ調)を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気が…

【Diffusers】AnimateDiff + Multi-ControlNet で動画作成してみる

はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeEr…

【Diffusers】AnimateDiff + IP-Adapter で動画作成してみる

IP-Adapter用の画像を作成まずは「yabalMixTrue25D」というモデルを使って女性の画像を作成しました。 なんとなく作ったのですが手の描写が完璧すぎて驚きました。 from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler, AutoencoderKL pi…

【Diffusers】AnimateDiff + ControlNet で動画作成してみる

はじめに最近DiffusersのAnimateDiffでControlNetが使えるようになりました。さっそく使ってみました。環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytor…

MagicAnimate で 使用できる DensePoseモーション動画を作成する

環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10方法① Python環境構築動画作成後にMagicAnimateを使うことを想定して環境構築します。たったの2行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-…