動画生成

animatediff-cli-prompt-travel の create-config で動画の各フレームに対してプロンプトを自動生成したら余計な単語がたくさん入ってきたので Perl で一括削除しました

animatediff-cli-prompt-travel の create-config を行うと以下のように各フレームに対してプロンプトを返してくれます。 "0": "(blonde_hair:0.83),(long_hair:0.83),(looking_at_viewer:0.61),(blue_shirt:0.50),(denim:0.35),(pants:0.68),(teeth:0.41),(…

【Hotshot-XL】SDXLモデルを使った動画作成

はじめにいろいろな動画生成AIに触れてきましたが今までのはほぼすべてStable Diffusion 1.5をベースとしたモデルを使用していました。今回SDXLをベースとした動画作成モデルが公開されていたので使ってみました。 github.com 導入 Windows 11 CUDA 11.7 Pyt…

【animatediff-cli-prompt-travel】背景がチカチカしていやなら固定すればいいじゃないか

はじめに前回からの続きです。 touch-sp.hatenablog.com Video2Videoで動画をアニメ化した時に背景がチカチカすることがあります。前回作成した動画がそうでした。 今回は背景を固定する方法にチャレンジしました。PC環境WindowsではうまくいかなかったのでW…

RIFE (Real-Time Intermediate Flow Estimation for Video Frame Interpolation) は AI で動画を作成する人にとって非常に役立つツールです

はじめにRIFE は動画のフレーム補間をしてくれるツールです。 github.com 動画のFPSを上げたい時にも役に立ちますが、今回は違う使い方を紹介します。使用例AIで動画を作成すると1フレームだけおかしくなることがあります。たとえば以下の例では1フレーム…

animatediff-cli-prompt-travel であえて ControlNet を使った Video2Video を行う

はじめにanimatediff-cli-prompt-travel は名前にpromptという単語が含まれている通り Text2Video を行うモデルです。今回はあえて ControlNet を使った Video2Video を行ってみました。animatediff-cli-prompt-travel に関しての過去の記事はこちらです。 t…

【続】【Text2Video】animatediff-cli-prompt-travel で動画を作る(良い結果を求めて)

はじめに前回の続きです。 touch-sp.hatenablog.com この1週間いろいろ設定を変えて動画を作りました。 その中で一番良かったものを記録として残しておきます。Configファイル { "name": "sample", "path": "safetensors/mistoonAnime_v20.safetensors", "mo…

【Video2Video】MMagic の Controlnet Animation で DW Openpose が使えるようにする

はじめにMMagic の Controlnet Animation はデフォルトで「sd-controlnet-hed 」を使うようになっています。DW Openposeが使えるようにスクリプトを一部改変しました。結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 環境 Windows…

【Text2Video】animatediff-cli-prompt-travel を試してみる

はじめにAnimateDiff周りはどんどん開発がすすんでいます。今回はanimatediff-cli-prompt-travelというのを試してみました。 github.com 環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築 git clone https://github.com/s9roll7/animatediff-cli-prompt…

【Video2Video】リアルな動画をアニメ風に変えるならわざわざ拡散モデルを使わなくても以前からあるGAN(敵対的生成ネットワーク)の技術で十分な気がしたので実際にやってみました

はじめにStable Diffusionなどの拡散モデルを使ったVideo2Videoが盛んに開発されています。GAN(敵対的生成ネットワーク)を使っても同様のことができる気がするのですが、すでに古い技術になってしまったのかあまりそれに言及する人がいません。GANを使った…

動画作成をいろいろ試してみたけど顔だけを動かすなら現状 SadTalker がベストだと思います

はじめに無料でできる動画作成をいろいろ試しましたが顔だけを動かすなら現状 SadTalker がベストだと思います。AnimateDiffが話題になっていて更新され続けているのでいずれはそちらがベストになるような気もします。画像を1枚だけ準備する今回用意した画像…

【Controled AnimateDiff】ControlNet と AnimateDiff を組み合わせて Video2Video に挑戦

github.com はじめにすでに開発してくれている個人がいます。上記GitHubがそれです。今回はそちらを使わせて頂きVideo2Videoに挑戦しました。環境imageioは2.27.0かまたはそれ以前のものを使う必要があります。それ以降を使うと以下のエラーが出ます。 TypeE…

OpenMMLab の MMagic で AnimateDiff が使えるようになったので試してみました

環境 Windows 11 CUDA 11.7 Python 3.11.5Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/tor…

【AnimateDiff】Motion Module v2 が公開されて作成動画の質が向上したそうです。さっそく試してみました。

github.com 結果 作成動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 環境 Windows 11 CUDA 11.7 Python 3.10 Git for Windows 2.39.0Python環境構築1行で完結します。 pip install -r https://raw.githubusercontent.com/dai-ichiro/m…

【Controlnet Animation】OpenMMLab の MMagic で Video2Video ができるという事で試してみました

実行動画の準備今回はこちらからダウンロードした「dance26.mp4」という動画を使わせて頂きます。 600x600で75フレームある動画です。 Configファイルの書き換えこちらから「anythingv3_config.py」をダウンロードして一部を書き換えます。 書き換え前 contr…

「layered-neural-atlases」で「StableVideo」の事前準備を行う

はじめに「StableVideo」で自前の動画を元動画として使用する場合には事前学習が必要です。「StableVideo」については以下の記事を見て下さい。 touch-sp.hatenablog.com 事前学習を行うのが「layered-neural-atlases」です。 さっそく「layered-neural-atla…

「layered-neural-atlases」が動かせる環境をつくる

github.com はじめに前回「StableVideo」について記事を書きました。 touch-sp.hatenablog.com 自前の動画を元動画として使用する場合には事前学習が必要になります。 それを行うのが「layered-neural-atlases」です。環境 Ubuntu 20.04 on WSL2 CUDA 11.6 P…

「StableVideo」という動画作成モデルがすごいです。AIによる動画作成がより実用的になった気がします。

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.11.4 Python環境構築は以下の1行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/StableVideo/requirements_cu118.txtこれで失敗するようなら以下を試し…

【ControlVideo】VRAM 18GBも使用するため動かせなかった動画生成モデルが RTX 4090 で動かせました

一番左が用意されたサンプル動画。 真ん中がサンプル動画から作成されたポーズ動画。 一番右がポーズ画像とテキスト(プロンプト)から作成された動画。 背景の一貫性、服装の一貫性はしっかり保たれている印象です。 512x512のサイズですが顔がはっきり描画…

【zeroscope_v2_XL】【Diffusers】1024x576のビデオが作れるようになりました。ただしVRAMは15GB使用します。

はじめに「zeroscope_v2_XL」というモデルを使用すると低解像度のビデオを1024x576のサイズにアップスケーリング可能です。Pythonスクリプト import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler from diffusers.utils impo…

【zeroscope_v2_576w】【Diffusers】新モデルを試してみる

はじめに以前Diffusersを使って9行でビデオを作成しました。 touch-sp.hatenablog.com 今回は新しいモデル「zeroscope_v2_576w」を試してみました。Pythonスクリプト import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler fr…

【ControlVideo】新しい動画生成モデルが公開されいたので試してみました。

左が参照動画。 真ん中が参照画像をもとに作成されたポーズ動画。 右が今回作成された動画。 サングラスが残念なことになってしまいました。注意github.com github.com ControlVideoというGitHubリポジトリは二つ存在します。 全く別物のようです。 この記事…

【Text2Video-Zero】【Diffusers】アップデートでVRAM使用量が減少しました。

DiffusersのアップデートでText2Video-ZeroのVRAM使用量が改善(減少)しています。 それに伴い以前の記事を更新しました。 良かったら読んで下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com

【ControlVideo】新しい動画生成モデルが公開されいたので試してみましたがVRAM不足で実行できませんでした。

注意github.com github.com ControlVideoというGitHubリポジトリは二つ存在します。 全く別物のようです。 この記事は上のリポジトリについての記事になります。 下のリポジトリについての記事はこちらになります。エラー内容 ValueError: fp16 mixed precis…

「Prompt-Free-Diffusion」を使って動画を作成してみる

人物にはそれなりに一貫性が認められますが背景がダメでした。 見続けると酔います(笑)はじめにgithub.com 「Prompt-Free-Diffusion」というのが公開されています。 動画作成に使えるのではないかということでさっそく試してみました。環境 Windows 11 Pyt…

【MasaCtrl】 MasaCtrl with T2I-Adapter を使って動画を作成してみる

顔は崩れてしまいましたがフレーム間の一貫性が保たれています。 着ている服や靴、背景に注目して下さい。はじめにMasaCtrlに関しては以下を参照して下さい。 touch-sp.hatenablog.com ざっくり言うと一貫性のある画像(例えば同じキャラクターの姿勢違いな…

SadTalkerの設定をいろいろいじってみる(1枚の顔写真からしゃべっている動画を作成)

SadTalkerは一枚の顔写真から任意の音声に合わせた口パク動画を生成することができます。今回は各種設定をいろいろ試してみました。

【Text2Video-Zero】【Diffusers】Text2Video-ZeroのVRAM使用量を減らしたい

最終更新日:2023年6月14日 DiffusionのText2Video-ZeroがTorch2.0用にアップデートされました。 VRAM使用量が改善したようなので記事を更新しました。 github.com 前回記事touch-sp.hatenablog.com 結果640x640の動画で試しました。chunk=2で固定しています…

【AnimatedDrawings】【閲覧注意】Michael JacksonのThrillerを躍らせてみました。ファンのみなさまごめんなさい。

結果 環境 Ubuntu 20.04 on WSL2 (Windows 11) CUDA 11.6.2 Python 3.8方法VideoTo3dPoseAndBvhYouTube動画からモーションファイル(拡張子:bvh)を作成しました。こちらを使わせて頂きました。 github.com まずはリポジトリをクローンして学習済みパラメー…

【AnimatedDrawings】いらすとやの女性を踊らせてみた

結果 元画像こちらの画像を使わせて頂きました。 www.irasutoya.com 前回の記事前回の記事の続きです。画像をいらすとやの女性に変更しただけです。詳しくは前回の記事を見て下さい。 touch-sp.hatenablog.com mask画像と関節の位置を記述したyamlファイルを…

【AnimatedDrawings】1枚の手書きイラストを動かす(WSL2での動作確認)

github.com 結果 環境構築 Ubuntu 20.04 on WSL2 (Windows 11) Python 3.9CUDAは必要ありません。 以下をインストールする必要があります。 sudo apt install libosmesa6-dev freeglut3-dev sudo apt install libglfw3-dev libgles2-mesa-dev sudo apt insta…