Image2Video

【Image2Video】Diffusers に新たに実装された I2VGenXL で動画を作成してみる

github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720(16:9)の画像なので比較的大きい動画が作れます。 (しかし、なぜか作成された動画は1280x704にな…

【Image2Video】【Diffusers】PIA(Personalized Image Animator)+ FreeInit で動画を作成

はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…

【Image2Video】PIA(Personalized Image Animator)を使って動画を作成してみました

github.com はじめにPIAはAnimateDiffを使ったImage2Videoです。1枚の画像とプロンプトから動画を作成できます。PC環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築「requirements.txt」を作成したので環境構築は以下の1行です。 pip install -r https:…

【AnimateAnyghing】AnimateAnyghing を使って Image2Videoを試してみる

github.com はじめに以前AnimateDiff Motion Module v3 と SparseCtrl を使って同じことをしました。 touch-sp.hatenablog.com AnimateAnyghingでは変化させたくない部分をそのまま残せます。その点が前回との違いになります。元画像用意した1枚の画像に動き…

【AnimateDiff】Motion Module v3 と SparseCtrl で Image2Video を試してみる

元画像用意した1枚の画像に動きを持たせることが目的です。 以下のスクリプトで作成しました。 from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManage…

【Diffusers】AnimateDiff + IP-Adapter で動画作成してみる

IP-Adapter用の画像を作成まずは「yabalMixTrue25D」というモデルを使って女性の画像を作成しました。 なんとなく作ったのですが手の描写が完璧すぎて驚きました。 from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler, AutoencoderKL pi…

Stable Video Diffusion が Diffusers から使えるようになりました

はじめにStable Diffusion を開発している Stability AI が公開した「Stable Video Diffusion」についての記事を以前書きました。 touch-sp.hatenablog.com 最近、Diffusersから使えるようになって環境構築など非常に簡単になりました。 github.com さっそく…

Stable Diffusion を開発している Stability AI が「Stable Video Diffusion」という image-to-videoモデルを公開しました

github.com はじめに新しく公開された「Stable Video Diffusion」は image-to-videoモデルです。画像を一枚用意したらそれを動画化してくれます。環境二つの環境で動作確認しました。Windows 11 Windows 11 NVIDIA Drive 546.01 CUDA 11.8 Python 3.10Python…