はじめに 完成図 注意点 C#コード はじめにusbipd-winを使ってWSL2にカメラを接続する方法は以下の手順です。 管理者権限でコマンドプロンプトを立ち上げる 「usbipd list」コマンドでカメラのBUSIDを調べる 「usbipd bind -b (busid)」「usbipd attach -b (…

はじめに過去にもWebカメラを使用する方法を書いています。2年ぶりに更新記事を書きました。 touch-sp.hatenablog.com 環境Windows 11です。使用したカメラはロジクール C922 Pro Stream Webcamです。 PS C:\> wsl -v WSL バージョン: 2.0.9.0 カーネル バー…

はじめにAIによる画像生成、動画生成に関するプログラムは日々新しいものが公開されています。それらをフォローするためにGitHubリポジトリを開いて更新をチェックすることがたまにあります。複数のリポジトリをいちいち開くのは面倒くさいので最終更新日を…

はじめにIP-Adapterの進化が止まりません。「FaceID」→「FaceID-Plus」→「FaceID-PlusV2」とどんどん進化しています。今回は今現在最新の「FaceID-PlusV2」を使ってみます。目的顔写真1枚からその人物の複数の画像を作成することです。PC環境 Windows 11 CUD…

はじめにWindowsでシンボリックリンクの作成を簡略化するC#のコードを以前書きました。 touch-sp.hatenablog.com 自分で言うのも何ですが便利に使っています。 Linuxでも同じようなことができないかと考えPythonスクリプトを書きました。Pythonスクリプト im…

はじめに「Long Weighted Prompt Pipeline」はプロンプトの重み付けをする時にA1111のスタイルが使え、かつ長いプロンプトが使用できるようになるパイプラインです。Diffusersではそういった用途にcompelというライブラリを使用するのですが、はっきり言って…

はじめに以前長い動画を作成する方法を書きました。 touch-sp.hatenablog.com 今回は「LongAnimateDiff」というのを使ってみます。 github.com Diffusers用に変換こちらで紹介した「convert_animatediff_motion_module_to_diffusers.py」を使って「lt_long_m…

using System; using System.Diagnostics; using System.IO; using System.Windows.Forms; namespace make_simlink { public partial class Form1 : Form { public Form1() { InitializeComponent(); } private void button1_Click(object sender, EventArgs…

はじめにこちらの続きです。 touch-sp.hatenablog.com この記事ではフレーム数上限は32だと書きました。 その上限を上げる方法が見つかったので紹介します。方法こちらの記事で「convert_animatediff_motion_module_to_diffusers.py」を使ってモーションモジ…

変換用スクリプトファイル名は「convert_animatediff_motion_module_to_diffusers.py」です。こちらのスクリプトです。 github.com 変換方法 python convert_animatediff_motion_module_to_diffusers.py ` --ckpt_path v3_sd15_mm.ckpt ` --use_motion_mid_b…

はじめに large-v2とlarge-v3の比較 large-v2 Pythonスクリプト「run.py」 実行 結果 large-v3 Pythonスクリプト「run.py」 実行 結果 ここから本題 Pythonスクリプト「run.py」 実行 結果 はじめにWhisperにlarge-v3という新しいモデルが追加されていたので…

試してみたいけどまだ試していないもの、コードがまだ公開されていないものなどです。 進歩が速すぎてなかなか追いつけません。画像生成github.com github.com 動画生成github.com github.com github.com github.com すでに試してみたものLongAnimateDiffgit…

結果左から v1.0 → v1.5 → v2.0 です。 今回使用したプロンプトでは、キリっとしたかっこいい女性から綺麗な女性に変わってきている気がします。Pythonスクリプトプロンプトはこちらからそのまま使わせてもらいました。 from diffusers import DiffusionPipe…

github.com はじめに以前AnimateDiff Motion Module v3 と SparseCtrl を使って同じことをしました。 touch-sp.hatenablog.com AnimateAnyghingでは変化させたくない部分をそのまま残せます。その点が前回との違いになります。元画像用意した1枚の画像に動き…

元画像用意した1枚の画像に動きを持たせることが目的です。 以下のスクリプトで作成しました。 from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManage…

はじめにv2はこちらを見てください。 touch-sp.hatenablog.com v2と全く同じ環境で動作可能でした。YAMLファイル以下のようなYAMLファイルを用意しました。 # 1-animation - adapter_lora_path: "models/Motion_Module/v3_sd15_adapter.ckpt" dreambooth_pat…

はじめに以前「DragGAN」について記事を書きました。 touch-sp.hatenablog.com 「DragGAN」はGAN（敵対的生成ネットワーク）を使っています。 今回紹介する「SDE Drag」は拡散モデルを使ったものになります。目的以下の女性の髪を伸ばしてみます。 この女性…

github.com はじめに公式ページそのまま We propose FreeInit, a concise yet effective method to improve temporal consistency of videos generated by diffusion models. FreeInit requires no additional training and introduces no learnable paramet…

目的この女性が歩く動画（アニメ調）を作っていきます。 この女性の写真はこちらで作成したものです。 touch-sp.hatenablog.com walking動画walking動画はPixabayからこちらの動画を使わせて頂きました。 結果LCM-LoRAなしなんとなく顔は似ているような気が…

疑問「typeK」とはどういう意味なのでしょうか？結果左から v1.0 → v1.5 → v1.6 typeK です。 Pythonスクリプトプロンプトはこちらからそのまま使わせてもらいました。 from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler impor…

はじめに以前、単一のControlNetを使う場合の記事を書きました。 touch-sp.hatenablog.com 新たにMulti-ControlNetに挑戦しました。はまりポイント最大32フレームまでしか対応していないようです。それ以上の動画を作ろうとするとエラーがでます。 RuntimeEr…

はじめに以前複数の画像に対してまとめてControlNet用のPreprocessを行う方法を書きました。 touch-sp.hatenablog.com 今回は動画を対象としました。 さらにGIFでも出力できるようにしました。Pythonスクリプト import cv2 from PIL import Image import os …

IP-Adapter用の画像を作成まずは「yabalMixTrue25D」というモデルを使って女性の画像を作成しました。 なんとなく作ったのですが手の描写が完璧すぎて驚きました。 from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler, AutoencoderKL pi…

はじめに最近DiffusersのAnimateDiffでControlNetが使えるようになりました。さっそく使ってみました。環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytor…

環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10方法① Python環境構築動画作成後にMagicAnimateを使うことを想定して環境構築します。たったの2行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/magic-…

github.com 環境 環境構築 CUDA 11.7の場合 CUDA 11.8の場合 準備 実行（GUIなし） YAMLファイルの作成 実行 実行（Gradio：GUIあり） 続き 環境 Ubuntu 22.04 on WSL2 CUDA 11.7 or 11.8 Python 3.10Python 3.10以外でも動くと思いますが確認はできていませ…

はじめにcontrolnet-auxというライブラリを使って複数の画像に対してまとめてControlNet用のPreprocessを行うスクリプトを書きました。controlnet-auxについては以下を見て下さい。 touch-sp.hatenablog.com Pythonスクリプト from PIL import Image import …

はじめにStable Diffusion を開発している Stability AI が公開した「Stable Video Diffusion」についての記事を以前書きました。 touch-sp.hatenablog.com 最近、Diffusersから使えるようになって環境構築など非常に簡単になりました。 github.com さっそく…

コマンドプロンプトを使う時とPowerShellを使う時で方法が異なります。 はまった！！コマンドプロンプトショートカットのリンク先に以下のように書き込みます。 cmd.exe /k D:\diffusers\env\env1130\Scripts\activatePowerShell powershell.exe -ExecutionP…

はじめにLCM-RoLAが短い時間で画像が生成できると話題になっていますが、それを上回るかもしれない SDXL-Turbo というのが Stable Diffusion を開発している Stability AI から公開されました。試しに使ってみました。また、LCM-LoRA と比較してみました。Py…