動画生成
結果 結果はGoogle Bloggerに載せています。 support-touchsp.blogspot.com RTX 4090を使って25分ほど掛かっています。 GPU 0 - Used memory: 23.90/23.99 GB time: 1492.29 sec Pythonスクリプト import torch from diffusers import WanPipeline, Autoenco…
はじめに「LTX-Video 0.9.7 Distilled」を使って動画作成（Text2Video）を行ってみました。Version 0.9.1の記事はこちらです。 touch-sp.hatenablog.com Version 0.9.5の記事はこちらです。 touch-sp.hatenablog.com PC環境 Windows 11 RTX 3080 Laptop (VRA…
はじめに「FramePack」は少ないVRAMで高品質な長尺動画生成を可能にする技術のようです。Lvmin Zhangという人を中心として開発されたようですが、この方はかなり実績ある人のようです。「ControlNet」や「Fooocus」や「Stable Diffusion WebUI Forge」を開発…
はじめにVersion 0.9.1の記事はこちらです。 touch-sp.hatenablog.com 今回はVersion 0.9.5を使います。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.6.0+cu124 --index-url https://download.pytorch…
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.6.0+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install diffusers transformers pip install ftfy imageio-ffmpeg imageioPythonスクリプト import torch…
はじめに前回の続きです。 touch-sp.hatenablog.com 作成時間を短縮するために行程を分割してみました。 分割するとCPU offloadをしなくて済むのではないかという発想です。Pythonスクリプト import torch from diffusers import ConsisIDPipeline from diff…
はじめにConsisIDは人間のアイデンティティを保つことを目的として開発された動画生成モデルです。IP-Adapter FaceIDの動画版みたいなものと勝手に認識しています。 touch-sp.hatenablog.com 使用したPC プロセッサ Intel(R) Core(TM) i7-14700K 実装 RAM 96…
はじめに CogVideoXの記事を以前書きました。Diffusersを使うとその時とほとんど同じスクリプトで「Mochi 1 Preview」も実行可能です。 touch-sp.hatenablog.com 使用したPC OS Windows 11 プロセッサ Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VR…
はじめにこちらを使わせて頂きました。 note.com 使用したPC OS Windows 11 プロセッサ Intel(R) Core(TM) i7-12700H 実装 RAM 32.0 GB GPU RTX 3080 Laptop (VRAM 16GB)CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 torchvision==0…
はじめに CogVideoXに関しては以前も記事を書いています。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「CogVideoX1.5-5B」でText2Videoを行いました。使用したPC2つのPCで実行しました。PC１（デスクトップ） OS Windows 11 プロセッサ Core(T…
はじめにVersion 0.9.0の記事はこちらです。 touch-sp.hatenablog.com 今回はVersion 0.9.1を使います。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch…
PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers …
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepi…
はじめに前回の続きです。 touch-sp.hatenablog.com 動作可能な環境をいろいろさぐってみました。動作環境と環境構築Python 3.10 + CUDA 12.4 Windows 11 CUDA 12.4 Python 3.10pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 xformers --…
はじめに「Hallo2」は顔画像と音声ファイルからしゃべっている動画を作成するモデルです。「リップシンク」モデルと表現されることもあります。以前「SadTalker」というのを使ったことがあります。それと同じようなことができます。 touch-sp.hatenablog.com…
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepiece im…
はじめに以前「Text2Video」を行いました。 touch-sp.hatenablog.com 今回は「Image2Video」を行いました。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.4.1+cu118 --index-url https://download.pyto…
Python環境構築 pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install git+https://github.com/huggingface/accelerate pip install transformers se…
はじめに前回の続きです。 touch-sp.hatenablog.com 変更点・Multi-IP-Adapterに対応しました。 （ただし、まだIP-AdapterのMulti-imagesには対応できていません）・モーション動画の作成をChampの方法（Blender使用）で行いました。 github.com 目的1つの動…
はじめに最近Diffusers Community Pipeline内にある「pipeline_animatediff_controlnet.py」のバグが修正されました。 github.com それに伴い過去の記事を少し書き直してみました。 touch-sp.hatenablog.com 変更点・FreeUを追加した ・「os」→「pathlib」に…
はじめに「Champ」とは Controllable and Consistent Human Image Animation with 3D Parametric Guidance だそうです。 github.com 以前「Moore-AnimateAnyone」というのを試したことがあります。 touch-sp.hatenablog.com 今回の「Champ」は「Moore-Animat…
はじめに過去に Video2Video をいろいろ試して、最も良い結果が得られたのが「Rerender A Video」でした。「Rerender A Video」の開発者が新たに「FRESCO」というのを公開してくれました。これは期待できるということでさっそく試してみました。「Rerender A…
結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 最大32フレームまで作れるようです。Pythonスクリプト import torch from diffusers import MotionAdapter, AnimateDiffPipeline, LCMScheduler from diffusers.utils import expor…
github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720（16:9）の画像なので比較的大きい動画が作れます。 （しかし、なぜか作成された動画は1280x704にな…
はじめにDiffusersからPIA（Personalized Image Animator）とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…
PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…
はじめに以前「FreeInit」についての記事を書きました。 touch-sp.hatenablog.com Diffusersから使えるようになって環境設定、使い方など非常に簡単になっています。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 …
github.com はじめに本家の「AnimateAnyone」はこちらです。 github.com 本家のサイトではスクリプトや学習済みパラメーターが公開されていません。 今回使用した「Moore-AnimateAnyone」はレポートを参考に作者なりに本家に近づくように作成したモデルのよ…
はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…
github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…
