はじめにIP-Adapterに関してはこちらを参照して下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 環境必要とするのはこれだけです。（PyTorchは自分の環境に合わせて変更して下さい） pip install torch==2.1.1+cu121 torchvision==0.16.1+cu121 -…

はじめにLatent Consistency Model (LCM) は画像生成の高速化を可能にします。基本的な使い方は以前記事を書いたのでそちらを参照して下さい。 touch-sp.hatenablog.com AnimateDiff でも Latent Consistency Model (LCM) が使えるようなので動画生成の高速…

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 12.1 Python 3.10 torch==2.1.1+cu121Python環境構築1行で済むようにrequirements.txtを作成しました。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/AnimateDiff_SDXL/req…

github.com はじめにDiffBIRはImage Restoration（画像復元）のためのモデルです。画像復元とSuper Resolution（超解像）との違いはよくわかっていません。どちらも低解像度の画像を綺麗にする手法です。結果最初に結果を示します。 左の画像から右の画像が…

github.com はじめに今回の目的は顔写真1枚からその人物の複数の画像を作成することです。環境 Windows 11 CUDA 11.7 Python 3.11pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip ins…

github.com 環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip install transformersモデルのダウンロードあらかじめ…

はじめに以前は「convert_original_stable_diffusion_to_diffusers.py」という実行ファイルを用いて変換していました。実は「from_single_file」と「save_pretrained」を使うと簡単にできることが分かりました。例 from diffusers import StableDiffusionPip…

github.com 環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip install transformers omegaconf sentencepiece beaut…

github.com 動作環境動作確認できた環境です。必ずしもこれでなければいけないということはありません。Windows 11 Windows 11 CUDA 11.7 Python 3.10WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10環境構築CUDA 11.8の場合 pip install torch==2.0.1+cu1…

github.com はじめに「LongerCrafter」は「FreeNoise」という方法を用いた動画生成モデルです。高品質の長い動画を生成することができるのが特徴とされています。さっそく試してみました。環境構築 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10 1行で環境構…

はじめに インストール関連 日本語入力できるようにする ドライブのフォーマット セカンダリードライブを自動でマウントする zoxide と fzf をインストールする NVIDIA Driver and CUDA NVIDA DriverとCUDAのアンインストール NVIDA Driverのインストール CU…

はじめに目的はタイトルにある通りです。今回はBeautiful Realistic Asians Version 5, 6, 7の3つを比べてみました。結果左から version 5→6→7 です。並べてくれるところまで自動でできるようにスクリプトを書いています。 Pythonスクリプト今回のスクリプト…

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 git clone https://github.com/williamyang1991/Rerender_A_Vi…

結果元画面 変更後 すっきり！方法「/home/ (user name)」フォルダ内に存在する「.bashrc」の中身を変更します。具体的には環境変数 PS1 の部分を一部書き換えるだけです。 cd sudo nano .bashrc変更する部分 if [ "$color_prompt" = yes ]; then PS1='${deb…

animatediff-cli-prompt-travel の create-config を行うと以下のように各フレームに対してプロンプトを返してくれます。 "0": "(blonde_hair:0.83),(long_hair:0.83),(looking_at_viewer:0.61),(blue_shirt:0.50),(denim:0.35),(pants:0.68),(teeth:0.41),(…

「FFMEPG」で変換してしまいましょう。 画質が落ちるかも知れませんが有料ソフトに手が出せない人には良い選択かと思います。 ffmpeg -i input.mp4 -vcodec h264 output.mp4 これだけで開けるようになりました。

はじめにいろいろな動画生成AIに触れてきましたが今までのはほぼすべてStable Diffusion 1.5をベースとしたモデルを使用していました。今回SDXLをベースとした動画作成モデルが公開されていたので使ってみました。 github.com 導入 Windows 11 CUDA 11.7 Pyt…

はじめに前回からの続きです。 touch-sp.hatenablog.com Video2Videoで動画をアニメ化した時に背景がチカチカすることがあります。前回作成した動画がそうでした。 今回は背景を固定する方法にチャレンジしました。PC環境WindowsではうまくいかなかったのでW…

はじめにRIFE は動画のフレーム補間をしてくれるツールです。 github.com 動画のFPSを上げたい時にも役に立ちますが、今回は違う使い方を紹介します。使用例AIで動画を作成すると１フレームだけおかしくなることがあります。たとえば以下の例では１フレーム…

はじめにanimatediff-cli-prompt-travel は名前にpromptという単語が含まれている通り Text2Video を行うモデルです。今回はあえて ControlNet を使った Video2Video を行ってみました。animatediff-cli-prompt-travel に関しての過去の記事はこちらです。 t…

はじめに前回の続きです。 touch-sp.hatenablog.com この1週間いろいろ設定を変えて動画を作りました。 その中で一番良かったものを記録として残しておきます。Configファイル { "name": "sample", "path": "safetensors/mistoonAnime_v20.safetensors", "mo…

はじめにMMagic の Controlnet Animation はデフォルトで「sd-controlnet-hed 」を使うようになっています。DW Openposeが使えるようにスクリプトを一部改変しました。結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 環境 Windows…

はじめにAnimateDiff周りはどんどん開発がすすんでいます。今回はanimatediff-cli-prompt-travelというのを試してみました。 github.com 環境 Windows 11 CUDA 11.8 Python 3.10Python環境構築 git clone https://github.com/s9roll7/animatediff-cli-prompt…

はじめにStable Diffusionなどの拡散モデルを使ったVideo2Videoが盛んに開発されています。GAN（敵対的生成ネットワーク）を使っても同様のことができる気がするのですが、すでに古い技術になってしまったのかあまりそれに言及する人がいません。GANを使った…

はじめに無料でできる動画作成をいろいろ試しましたが顔だけを動かすなら現状 SadTalker がベストだと思います。AnimateDiffが話題になっていて更新され続けているのでいずれはそちらがベストになるような気もします。画像を1枚だけ準備する今回用意した画像…

目的画像生成モデルに自前の物体を描画させる試みです。以前にもDreamBoothやLoRAで同様のことをやっています。 この物体を描写させます。具体的にはビーチに立たせてみます。 ViCo (Detail-Preserving Visual Condition for Personalized Text-to-Image Gen…

github.com はじめにすでに開発してくれている個人がいます。上記GitHubがそれです。今回はそちらを使わせて頂きVideo2Videoに挑戦しました。環境imageioは2.27.0かまたはそれ以前のものを使う必要があります。それ以降を使うと以下のエラーが出ます。 TypeE…

環境 Windows 11 CUDA 11.7 Python 3.11.5Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/tor…

github.com はじめにIP-Adapter を Stable Diffusion Web UI の拡張機能としてではなく公式のGitHub通りに動かしてみました。IP-Adapterは画像をプロンプトのように扱うモデルです。画像をモデルに与えることで生成画像を制御します。冒頭の画像は左の人物に…

結果 左からCLIP-skip None→1→2→3です。Pythonスクリプト from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler import torch import os model_id = "osorubeshimerge_v10.safetensors" pipe = StableDiffusionXLPipeline.from_si…