Video2Video

【Diffusers】【Video2Video】AnimateDiff + Multi-ControlNet + Multi-IP-Adapter + LCM-LoRA で動画作成してみる

はじめに前回の続きです。 touch-sp.hatenablog.com 変更点・Multi-IP-Adapterに対応しました。 (ただし、まだIP-AdapterのMulti-imagesには対応できていません)・モーション動画の作成をChampの方法(Blender使用)で行いました。 github.com 目的1つの動…

【Diffusers】【Video2Video】AnimateDiff + Multi-ControlNet + IP-Adapter + LCM-LoRA + FreeU で動画作成してみる

はじめに最近Diffusers Community Pipeline内にある「pipeline_animatediff_controlnet.py」のバグが修正されました。 github.com それに伴い過去の記事を少し書き直してみました。 touch-sp.hatenablog.com 変更点・FreeUを追加した ・「os」→「pathlib」に…

【Video2Video】「FRESCO」というモデルを使ってみる

はじめに過去に Video2Video をいろいろ試して、最も良い結果が得られたのが「Rerender A Video」でした。「Rerender A Video」の開発者が新たに「FRESCO」というのを公開してくれました。これは期待できるということでさっそく試してみました。「Rerender A…

【Video2Video】「Rerender A Video」がDiffusersから使えるようになっていたのでさっそく使ってみました。

はじめに以前「Rerender A Video」の記事を書きました。 touch-sp.hatenablog.com 今回、新たにDiffusersから使えるようになったのでさっそく試してみました。 Video2Videoに関しては「AnimateDiff」と同等、またはそれ以上の結果が得られました。 「Animate…

【Diffusers】AnimateDiff + Multi-ControlNet + IP-Adapterで動画作成してみる

目的この女性が歩く動画(アニメ調)を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気が…

【Diffusers】AnimateDiff + Multi-ControlNet で動画作成してみる

はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeEr…

【Rerender A Video】【Video2Video】また新しい動画生成モデルを見つけたのでさっそく試してみました。

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 git clone https://github.com/williamyang1991/Rerender_A_Vi…

【Controled AnimateDiff】ControlNet と AnimateDiff を組み合わせて Video2Video に挑戦

github.com はじめにすでに開発してくれている個人がいます。上記GitHubがそれです。今回はそちらを使わせて頂きVideo2Videoに挑戦しました。環境imageioは2.27.0かまたはそれ以前のものを使う必要があります。それ以降を使うと以下のエラーが出ます。 TypeE…