2023-08-01から1ヶ月間の記事一覧
github.com はじめにMasaCtrlに関しては過去に記事を書いているのでよかったら見て下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 簡単に言うと一貫性のある画像（例えば同じキャラクターの姿勢違いなど）を生成することが可能なモデルです。 SD…
huggingface.co はじめにDiffusersを使わない場合の記事を以前書きました。 touch-sp.hatenablog.com 今回、DiffusersからT2I-Adapterが使えるようになったので使い方を紹介します。方法Canny画像から画像生成もともとCanny画像が用意できているものとします…
はじめに「fuduki_mix」というモデルを公開してくれている「kotajiro001」さんが新たにSDXL派生モデルとして「haduki_mix」というモデルを公開してくれています。この方は「yayoi_mix」というSD 1.5のモデルも公開してくれています。弥生（やよい：3月）文月…
huggingface.co はじめに以前から「Depth」の ControlNet は公開されていました。 touch-sp.hatenablog.com 新たに「 Zoe-Depth」の ControlNet が公開されたので使ってみました。元画像こちらで作成した画像を使用しました。「girl.png」として保存していま…
はじめに「StableVideo」で自前の動画を元動画として使用する場合には事前学習が必要です。「StableVideo」については以下の記事を見て下さい。 touch-sp.hatenablog.com 事前学習を行うのが「layered-neural-atlases」です。 さっそく「layered-neural-atla…
github.com はじめに前回「StableVideo」について記事を書きました。 touch-sp.hatenablog.com 自前の動画を元動画として使用する場合には事前学習が必要になります。 それを行うのが「layered-neural-atlases」です。環境 Ubuntu 20.04 on WSL2 CUDA 11.6 P…
github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.11.4 Python環境構築は以下の1行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/StableVideo/requirements_cu118.txtこれで失敗するようなら以下を試し…
環境Windows 11ではうまく動きませんでした。以下の環境で実行しています。 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10実行と結果元画像からCanny画像を作成してから画像生成SDXL 1.0-base python test.py \ --prompt 'portrait of japanese girl, plain w…
はじめにタイトルにあるように Diffusers で SDXL に ControlNet と LoRA が併用できるようになりました。「DreamShaper XL1.0」というSDXL派生モデルに ControlNet と「Japanese Girl - SDXL」という LoRA を使ってみました。「Japanese Girl - SDXL」は日…
はじめに前回ESP-WROOM-32同士をBluetoothで接続してシリアル通信を無線化しました。 touch-sp.hatenablog.com これが出来たらラジコン作りたくなります。 ということで作ってみました。完成品車 コントローラー 特徴Groveコネクタを利用してなるべくはんだ…
はじめにDiffusersからGLIGENというモデルが使えるようになりました。 github.com ControlNetと非常に似ているものになりますが、ボックスで物体の場所を指定できるところが特徴の一つです。 今回はその特徴を使いながら画像生成をしてみました。 まずはこの…
はじめにリアルな（アニメではない）美しい女性が描けるモデルとして「yayoi_mix」があります。そのモデルを公開してくれている「kotajiro001」さんがSDXL派生モデルとして「fuduki_mix」というモデルを公開してくれています。さっそく使ってみました。使い…
はじめにDiffusersにSDXL用のMulti-ControlNetが実装されたので使ってみました。元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。 1024x1024になるようにトリミング、リサイズして「girl.jpg」として保存しています。 ここからImage2Ima…
使用したのはこちらです。二つ用意しています。 ESPr® Branch 32（Groveコネクタ付き）www.switch-science.com BluetoothのMACアドレスを取得する一つのESPに以下を書き込み実行します。今後こちらがスレイブ側になります。 void setup(void) { Serial.begin…
huggingface.co はじめに「Canny」「Depth」に続いて「OpenPose」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 「Depth」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像ぱくたその画…
huggingface.co はじめに「Canny」に続いて「Depth」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像こちらで作成した画像を使用しました。「girl.png」として保存しています。 Depth画像の作成4…
はじめに前回の続きです。 touch-sp.hatenablog.com より良い結果を求めて設定をいろいろいじってみました。 今回はデータセットを二つ用意しました。 一つ目は前回と同じもの（36枚）です。 二つ目は新たに写真撮った28枚です。テキストエンコーダーの学習…
はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。いわゆる通常のLoRAとは異なるようです。以前にサンプル画像を使って学習を行いました。 touch-sp.hatenablog.com 今回は自前の画像を学習させてみました…
はじめに 本題 実行 結果 他のモデルとの比較 original SDXL DreamShaper XL1.0 alpha2 CounterfeitXL beta niji-diffusion-xl-base-1.0 v1.1 niji-diffusion-xl-base-1.0 v2.0 niji-diffusion-xl-base-1.0 v2.3 Animagine XL Mysterious - SDXL Version v3.…
実行CIVITAIなどからモデルをダウンロードするとほとんどの場合「**.safetensors」というファイルです。そのままDiffusersから使うにはこのようにします。 from diffusers import StableDiffusionXLPipeline import torch pipe = StableDiffusionXLPipeline.…
待望のSDXL 1.0 (Stable Diffusion XL 1.0) 用ControlNetが公開され始めています。今のところは「Canny」しか公開されていませんが今後増えると思われます。その都度記事は更新していきます。
github.com github.com はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。いわゆる通常のLoRAとは異なるようです。16GBで動かせるということはGoogle Colabで動かせるという事だと思います。自分は宝の持…
モデルはいずれもCIVITAIからダウンロードさせて頂きました。 左からα→β→v1.0です。 v1.0でだいぶ印象が変わりました。 CounterfeitXLの使い方はこちらを見て下さい。 touch-sp.hatenablog.com さらに多い比較結果をこちらに載せています。 support-touchsp.…
はじめにText2Image + LoRAは以前書きました。 touch-sp.hatenablog.com 今回は Image2Image + LoRA に挑戦しました。注意Diffusers==0.19.3までは以下のエラーが出ます。 from diffusers import AutoPipelineForImage2Image import torch pipe = AutoPipeli…
はじめにオリジナルの「Zero-1-to-3 (Zero-shot One Image to 3D Object)」をみるとVRAM 22GB使用すると書かれています。 github.com 新たに「A diffuser implementation of Zero123」が公開されたので使ってみました。 github.com VRAM 16GBのRTX 3080 Lapt…
はじめに 最初は普通にText2Image 画質向上 SDXLのリファイナーを使う方法 方法１ 方法２ 方法３（Image2Image） GFPGANを使う方法 結果の比較 はじめにSDXL 1.0 (Stable Diffusion XL 1.0) の派生モデルである「DreamShaper XL1.0 Alpha2」というのを使って…
はじめにSDXL 1.0 (Stable Diffusion XL 1.0)には二つのテキストエンコーダーがあるようです。テキストエンコーダーとはざっくり言うとユーザーが与えたプロンプトを処理する部分です。それが二つ（OpenCLIP と OpenAI CLIP）あるようです。デフォルトではそ…
結果左がボールを強調した生成画像 真ん中がノーマルの生成画像 右が猫を強調した生成画像 なんとなく効果があるような気がします。 今回とは関係ないですがこのレベルの画像が簡単に生成できるSDXL 1.0 (Stable Diffusion XL 1.0) には驚かされるばかりです…
