画像生成

【Diffusers】「from_single_file」と「save_pretrained」を使うとsafetensorsファイルをDiffusersフォーマットに簡単に変換できます

はじめに以前は「convert_original_stable_diffusion_to_diffusers.py」という実行ファイルを用いて変換していました。実は「from_single_file」と「save_pretrained」を使うと簡単にできることが分かりました。例 from diffusers import StableDiffusionPip…

PixArt-alpha を Diffusers から使ってみる

github.com 環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip install transformers omegaconf sentencepiece beaut…

【Diffusers】画像生成においてモデル間の比較が簡単にできるようにPythonスクリプトを書きました。

はじめに目的はタイトルにある通りです。今回はBeautiful Realistic Asians Version 5, 6, 7の3つを比べてみました。結果左から version 5→6→7 です。並べてくれるところまで自動でできるようにスクリプトを書いています。 Pythonスクリプト今回のスクリプト…

OpenMMLab の MMagic で ViCo (Detail-Preserving Visual Condition for Personalized Text-to-Image Generation) を試してみる

目的画像生成モデルに自前の物体を描画させる試みです。以前にもDreamBoothやLoRAで同様のことをやっています。 この物体を描写させます。具体的にはビーチに立たせてみます。 ViCo (Detail-Preserving Visual Condition for Personalized Text-to-Image Gen…

SDXL で IP-Adapter を試してみる

github.com はじめにIP-Adapter を Stable Diffusion Web UI の拡張機能としてではなく公式のGitHub通りに動かしてみました。IP-Adapterは画像をプロンプトのように扱うモデルです。画像をモデルに与えることで生成画像を制御します。冒頭の画像は左の人物に…

【SDXL 1.0】Diffusers から CLIP-skip が使えるようになったのでさっそく使ってみました。

結果 左からCLIP-skip None→1→2→3です。Pythonスクリプト from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler import torch import os model_id = "osorubeshimerge_v10.safetensors" pipe = StableDiffusionXLPipeline.from_si…

【SDXL 1.0】Diffusers から Textual Inversion が使えるようになったのでさっそく使ってみました。

結果 一番左がNegative Promptなし 真ん中がunaestheticXL AYv1を使った場合 一番右がunaestheticXL v3.1を使った場合使い方 from safetensors.torch import load_file state_dict = load_file("embeddings/unaestheticXLv31.safetensors") pipe.load_textua…

【SDXL Caricaturized Lora】Image2Image と LoRA を組み合わせて顔写真から似顔絵を作成する

はじめにImage2Image + LoRAは以前に試しています。 touch-sp.hatenablog.com 今回は「SDXL Caricaturized Lora」というLoRAを使って顔写真から似顔絵を作成してみます。結果一番左がもとの顔写真、右3枚が今回作成した画像です。 3年程前に「WarpGAN」とい…

【StableDiffusionXLInstructPix2PixPipeline】ある画像に対して「写っている犬を猫に変えて」みたいなプロンプトで新しい画像が生成できる Instruct-Pix2Pix が SDXL に対応したのでさっそく使ってみました

はじめに以前 Instruct-Pix2Pix の記事を書きました。 touch-sp.hatenablog.com 今回 SDXLに対応したとのことで改めて試してみました。 huggingface.co 768x768の画像データで学習されているようです。特徴写真に写る犬を猫に変換したい場合プロンプトは「re…

【SDXL 1.0】ControlNet と Inpaint を組み合わせると何ができるか?

,はじめにDiffusers に「StableDiffusionXLControlNetInpaintPipeline」という SDXL 1.0 に対して ControlNet と Inpaint を組み合わせて使えるPipelineが実装されました。さっそく使ってみたいと思います。元画像 元画像はぱくたそから使わせて頂きました。…

MasaCtrl が一部 SDXL 1.0 (Stable Diffusion XL 1.0) に対応しています。さっそく試してみました。

github.com はじめにMasaCtrlに関しては過去に記事を書いているのでよかったら見て下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 簡単に言うと一貫性のある画像(例えば同じキャラクターの姿勢違いなど)を生成することが可能なモデルです。 SD…

【Diffusers】【StableDiffusionXLAdapterPipeline】SDXL 1.0 (Stable Diffusion XL 1.0) の T2I-Adapter が使えるようになりました

huggingface.co はじめにDiffusersを使わない場合の記事を以前書きました。 touch-sp.hatenablog.com 今回、DiffusersからT2I-Adapterが使えるようになったので使い方を紹介します。方法Canny画像から画像生成もともとCanny画像が用意できているものとします…

【SDXL 1.0】fuduki_mix を公開している人が新たに haduki_mix というモデルを公開してくれました

はじめに「fuduki_mix」というモデルを公開してくれている「kotajiro001」さんが新たにSDXL派生モデルとして「haduki_mix」というモデルを公開してくれています。この方は「yayoi_mix」というSD 1.5のモデルも公開してくれています。弥生(やよい:3月)文月…

【SDXL 1.0】 Zoe-Depth ControlNet が Diffusers から公開されたのでさっそく使ってみました

huggingface.co はじめに以前から「Depth」の ControlNet は公開されていました。 touch-sp.hatenablog.com 新たに「 Zoe-Depth」の ControlNet が公開されたので使ってみました。元画像こちらで作成した画像を使用しました。「girl.png」として保存していま…

SDXL 1.0 (Stable Diffusion XL 1.0) に使える T2I-Adapter-SDXL が公開されているので紹介します

環境Windows 11ではうまく動きませんでした。以下の環境で実行しています。 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10実行と結果元画像からCanny画像を作成してから画像生成SDXL 1.0-base python test.py \ --prompt 'portrait of japanese girl, plain w…

【SDXL 1.0】Diffusers で ControlNet と LoRA が併用できるようになったのでさっそく使ってみました

はじめにタイトルにあるように Diffusers で SDXL に ControlNet と LoRA が併用できるようになりました。「DreamShaper XL1.0」というSDXL派生モデルに ControlNet と「Japanese Girl - SDXL」という LoRA を使ってみました。「Japanese Girl - SDXL」は日…

Diffusersに新たに実装された GLIGEN って何?どういった事ができるの?

はじめにDiffusersからGLIGENというモデルが使えるようになりました。 github.com ControlNetと非常に似ているものになりますが、ボックスで物体の場所を指定できるところが特徴の一つです。 今回はその特徴を使いながら画像生成をしてみました。 まずはこの…

【SDXL 1.0】yayoi_mix を公開している人がSDXL派生の fuduki_mix というモデルを公開してくれています

はじめにリアルな(アニメではない)美しい女性が描けるモデルとして「yayoi_mix」があります。そのモデルを公開してくれている「kotajiro001」さんがSDXL派生モデルとして「fuduki_mix」というモデルを公開してくれています。さっそく使ってみました。使い…

【SDXL 1.0】Multi-ControlNetを使ってみる

はじめにDiffusersにSDXL用のMulti-ControlNetが実装されたので使ってみました。元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。 1024x1024になるようにトリミング、リサイズして「girl.jpg」として保存しています。 ここからImage2Ima…

【SDXL 1.0】 OpenPose ControlNet が公開されたのでさっそく使ってみました

huggingface.co はじめに「Canny」「Depth」に続いて「OpenPose」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 「Depth」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像ぱくたその画…

【SDXL 1.0】 Depth ControlNet が Diffusers から公開されたのでさっそく使ってみました

huggingface.co はじめに「Canny」に続いて「Depth」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像こちらで作成した画像を使用しました。「girl.png」として保存しています。 Depth画像の作成4…

【SDXL 1.0】LoRA学習 (DreamBooth fine-tuning via LoRA) の設定あれこれ

はじめに前回の続きです。 touch-sp.hatenablog.com より良い結果を求めて設定をいろいろいじってみました。 今回はデータセットを二つ用意しました。 一つ目は前回と同じもの(36枚)です。 二つ目は新たに写真撮った28枚です。テキストエンコーダーの学習…

自前の画像でSDXL 1.0 (Stable Diffusion XL 1.0) のLoRA学習 (DreamBooth fine-tuning via LoRA) を行う

はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。いわゆる通常のLoRAとは異なるようです。以前にサンプル画像を使って学習を行いました。 touch-sp.hatenablog.com 今回は自前の画像を学習させてみました…

SDXL 1.0 (Stable Diffusion XL 1.0) 派生モデルとControlNetを組み合わせる

はじめに 本題 実行 結果 他のモデルとの比較 original SDXL DreamShaper XL1.0 alpha2 CounterfeitXL beta niji-diffusion-xl-base-1.0 v1.1 niji-diffusion-xl-base-1.0 v2.0 niji-diffusion-xl-base-1.0 v2.3 Animagine XL Mysterious - SDXL Version v3.…

SDXL 1.0 (Stable Diffusion XL 1.0) 派生モデルの safetensorsファイル を Diffusersフォーマット に変換する

実行CIVITAIなどからモデルをダウンロードするとほとんどの場合「**.safetensors」というファイルです。そのままDiffusersから使うにはこのようにします。 from diffusers import StableDiffusionXLPipeline import torch pipe = StableDiffusionXLPipeline.…

SDXL 1.0 (Stable Diffusion XL 1.0) で使える ControlNet が Diffusers から公開されたのでさっそく使ってみました

待望のSDXL 1.0 (Stable Diffusion XL 1.0) 用ControlNetが公開され始めています。今のところは「Canny」しか公開されていませんが今後増えると思われます。その都度記事は更新していきます。

SDXL 1.0 (Stable Diffusion XL 1.0) のLoRA学習 (DreamBooth fine-tuning via LoRA) がVRAM 16GBでできるんだって。やるしかないでしょ。

github.com github.com はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。いわゆる通常のLoRAとは異なるようです。16GBで動かせるということはGoogle Colabで動かせるという事だと思います。自分は宝の持…

CounterfeitXL が α → β を経てv1.0になりました。画像を比較してみました。

モデルはいずれもCIVITAIからダウンロードさせて頂きました。 左からα→β→v1.0です。 v1.0でだいぶ印象が変わりました。 CounterfeitXLの使い方はこちらを見て下さい。 touch-sp.hatenablog.com さらに多い比較結果をこちらに載せています。 support-touchsp.…

SDXL 1.0 (Stable Diffusion XL 1.0) で Image2Image + LoRA を試す

はじめにText2Image + LoRAは以前書きました。 touch-sp.hatenablog.com 今回は Image2Image + LoRA に挑戦しました。注意Diffusers==0.19.3までは以下のエラーが出ます。 from diffusers import AutoPipelineForImage2Image import torch pipe = AutoPipeli…

【SDXL 1.0 (Stable Diffusion XL 1.0)】生成画像の画質が良くない時はどうすれば良いか?いろいろ試してみました。

はじめに 最初は普通にText2Image 画質向上 SDXLのリファイナーを使う方法 方法1 方法2 方法3(Image2Image) GFPGANを使う方法 結果の比較 はじめにSDXL 1.0 (Stable Diffusion XL 1.0) の派生モデルである「DreamShaper XL1.0 Alpha2」というのを使って…