動画生成
はじめに「Champ」とは Controllable and Consistent Human Image Animation with 3D Parametric Guidance だそうです。 github.com 以前「Moore-AnimateAnyone」というのを試したことがあります。 touch-sp.hatenablog.com 今回の「Champ」は「Moore-Animat…
はじめに過去に Video2Video をいろいろ試して、最も良い結果が得られたのが「Rerender A Video」でした。「Rerender A Video」の開発者が新たに「FRESCO」というのを公開してくれました。これは期待できるということでさっそく試してみました。「Rerender A…
結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 最大32フレームまで作れるようです。Pythonスクリプト import torch from diffusers import MotionAdapter, AnimateDiffPipeline, LCMScheduler from diffusers.utils import expor…
github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720（16:9）の画像なので比較的大きい動画が作れます。 （しかし、なぜか作成された動画は1280x704にな…
はじめにDiffusersからPIA（Personalized Image Animator）とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…
PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…
はじめに以前「FreeInit」についての記事を書きました。 touch-sp.hatenablog.com Diffusersから使えるようになって環境設定、使い方など非常に簡単になっています。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 …
github.com はじめに本家の「AnimateAnyone」はこちらです。 github.com 本家のサイトではスクリプトや学習済みパラメーターが公開されていません。 今回使用した「Moore-AnimateAnyone」はレポートを参考に作者なりに本家に近づくように作成したモデルのよ…
はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…
github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…
はじめに以前長い動画を作成する方法を書きました。 touch-sp.hatenablog.com 今回は「LongAnimateDiff」というのを使ってみます。 github.com Diffusers用に変換こちらで紹介した「convert_animatediff_motion_module_to_diffusers.py」を使って「lt_long_m…
はじめにこちらの続きです。 touch-sp.hatenablog.com この記事ではフレーム数上限は32だと書きました。 その上限を上げる方法が見つかったので紹介します。方法こちらの記事で「convert_animatediff_motion_module_to_diffusers.py」を使ってモーションモジ…
変換用スクリプトファイル名は「convert_animatediff_motion_module_to_diffusers.py」です。こちらのスクリプトです。 github.com 変換方法 python convert_animatediff_motion_module_to_diffusers.py ` --ckpt_path v3_sd15_mm.ckpt ` --use_motion_mid_b…
github.com はじめに以前AnimateDiff Motion Module v3 と SparseCtrl を使って同じことをしました。 touch-sp.hatenablog.com AnimateAnyghingでは変化させたくない部分をそのまま残せます。その点が前回との違いになります。元画像用意した1枚の画像に動き…
元画像用意した1枚の画像に動きを持たせることが目的です。 以下のスクリプトで作成しました。 from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManage…
はじめにv2はこちらを見てください。 touch-sp.hatenablog.com v2と全く同じ環境で動作可能でした。YAMLファイル以下のようなYAMLファイルを用意しました。 # 1-animation - adapter_lora_path: "models/Motion_Module/v3_sd15_adapter.ckpt" dreambooth_pat…
github.com はじめに公式ページそのまま We propose FreeInit, a concise yet effective method to improve temporal consistency of videos generated by diffusion models. FreeInit requires no additional training and introduces no learnable paramet…
目的この女性が歩く動画（アニメ調）を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気が…
はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeEr…
IP-Adapter用の画像を作成まずは「yabalMixTrue25D」というモデルを使って女性の画像を作成しました。 なんとなく作ったのですが手の描写が完璧すぎて驚きました。 from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler, AutoencoderKL pi…
はじめに最近DiffusersのAnimateDiffでControlNetが使えるようになりました。さっそく使ってみました。環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytor…
環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10方法① Python環境構築動画作成後にMagicAnimateを使うことを想定して環境構築します。たったの2行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-…
github.com 環境 環境構築 CUDA 11.7の場合 CUDA 11.8の場合 準備 実行（GUIなし） YAMLファイルの作成 実行 実行（Gradio：GUIあり） 続き 環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10Python 3.10以外でも動くと思いますが確認はできていませ…
はじめにStable Diffusion を開発している Stability AI が公開した「Stable Video Diffusion」についての記事を以前書きました。 touch-sp.hatenablog.com 最近、Diffusersから使えるようになって環境構築など非常に簡単になりました。 github.com さっそく…
github.com はじめに新しく公開された「Stable Video Diffusion」は image-to-videoモデルです。画像を一枚用意したらそれを動画化してくれます。環境二つの環境で動作確認しました。Windows 11 Windows 11 NVIDIA Drive 546.01 CUDA 11.8 Python 3.10Python…
はじめにLatent Consistency Model (LCM) は画像生成の高速化を可能にします。基本的な使い方は以前記事を書いたのでそちらを参照して下さい。 touch-sp.hatenablog.com AnimateDiff でも Latent Consistency Model (LCM) が使えるようなので動画生成の高速…
github.com 環境 Ubuntu 22.04 on WSL2 CUDA 12.1 Python 3.10 torch==2.1.1+cu121Python環境構築1行で済むようにrequirements.txtを作成しました。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/AnimateDiff_SDXL/req…
github.com 動作環境動作確認できた環境です。必ずしもこれでなければいけないということはありません。Windows 11 Windows 11 CUDA 11.7 Python 3.10WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10環境構築CUDA 11.8の場合 pip install torch==2.0.1+cu1…
github.com はじめに「LongerCrafter」は「FreeNoise」という方法を用いた動画生成モデルです。高品質の長い動画を生成することができるのが特徴とされています。さっそく試してみました。環境構築 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10 1行で環境構…
github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 git clone https://github.com/williamyang1991/Rerender_A_Vi…
