画像生成
はじめにText2Image + LoRAは以前書きました。 touch-sp.hatenablog.com 今回は Image2Image + LoRA に挑戦しました。注意Diffusers==0.19.3までは以下のエラーが出ます。 from diffusers import AutoPipelineForImage2Image import torch pipe = AutoPipeli…
はじめに 最初は普通にText2Image 画質向上 SDXLのリファイナーを使う方法 方法１ 方法２ 方法３（Image2Image） GFPGANを使う方法 結果の比較 はじめにSDXL 1.0 (Stable Diffusion XL 1.0) の派生モデルである「DreamShaper XL1.0 Alpha2」というのを使って…
はじめにSDXL 1.0 (Stable Diffusion XL 1.0)には二つのテキストエンコーダーがあるようです。テキストエンコーダーとはざっくり言うとユーザーが与えたプロンプトを処理する部分です。それが二つ（OpenCLIP と OpenAI CLIP）あるようです。デフォルトではそ…
結果左がボールを強調した生成画像 真ん中がノーマルの生成画像 右が猫を強調した生成画像 なんとなく効果があるような気がします。 今回とは関係ないですがこのレベルの画像が簡単に生成できるSDXL 1.0 (Stable Diffusion XL 1.0) には驚かされるばかりです…
はじめにSDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com 環境 Windows 11 CUDA 11.7 Python 3.10「omegaconf」が必要になります。 pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117 pip i…
最終更新日：2023年8月2日はじめにSDXL 1.0はベースとリファイナーの2つのモデルからできています。今回はベースモデルとリファイナーモデルでそれぞれImage2Imageをやってみました。Text2ImageはSDXL 1.0のベースモデルを使わずに「BracingEvoMix_v1」を使…
はじめにSDXLで使えるLoRAがCIVITAIに公開されていたので使ってみました。最近公開されたDiffusers==0.22.0からLoRAの使い方が変わったようです。SDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com Pythonスクリプト「LoRA」とい…
はじめにこちらにSDXL専用と思われるVAEが公開されていたので使ってみました。 huggingface.co SDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com Pythonスクリプト from diffusers import DiffusionPipeline, AutoencoderKL imp…
最終更新日：2023年8月5日はじめに新しく公開されたSDXL 1.0をDiffusersから使ってみました。Diffusers公式のチュートリアルに従って実行してみただけです。環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 --index-url https://downl…
最終更新日：2023年8月3日 左がデフォルト、右が専用VAEです。はじめにDiffusersで専用のVAEを使用するためには変換が必要でした。 touch-sp.hatenablog.com 新たに「from_single_file」がVAEにも使えるようになったのでその作業は不要になりました。使い方…
from PIL import Image import numpy as np import torch from diffusers.utils import load_image from controlnet_aux import PidiNetDetector from diffusers import StableDiffusionAdapterPipeline, T2IAdapter from compel import Compel image = load…
最終更新日：2023年7月28日はじめに以前Kandinsky 2.1に関する記事を書きました。 touch-sp.hatenablog.com 今回は新しくなったKandinsky 2.2をControlNetと組み合わせて使ってみます。 「Text-to-Image」と「Image-to-Image」の両方で使えるようなので比較…
はじめにタイトル通りです。V6はこちらからダウンロードさせて頂きました。 V4、V5の記事はこちらです。 touch-sp.hatenablog.com touch-sp.hatenablog.com 結果 自分はV5の方が好みかもしれません。実行方法「cv2_canny.py」と「canny2image_torch2.py」を…
はじめに以前から画像内の不要物を消すことはいろいろ挑戦してきました。 touch-sp.hatenablog.com 今回は「Inpaint-Anything」というのに含まれる「Remove Anything」を試してみました。 github.com 環境構築 Ubuntu 20.04 on WSL2 CUDA 11.6 Python 3.81行…
github.com はじめに「UniControl」というものを使ってみました。通常のControlNetとの違いがいまいちわかりません。下に紹介文を貼っておきます。Introduction原文そのままWe introduce UniControl, a new generative foundation model that consolidates a…
左が元の建物の画像です。右が空を追加した画像です。 github.com 環境構築 Windows 11 Python 3.10 CUDA 11.7pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install git+https://gith…
最終更新日：2023年7月12日 Pythonスクリプト from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch from compel import Compel, DiffusersTextualInversionManager import argparse parser = argparse.ArgumentPa…
最終更新日：2023年6月5日 はじめにプロンプト内のワードの重みづけをしたい時、DiffusersではCompel Libraryを使うようです。インストールは簡単です。 pip install compel使い方実際のPythonスクリプト from diffusers import StableDiffusionPipeline, Eu…
最終更新日：2023年6月3日 はじめにDiffusersに新たにCommunity Pilelineとして追加された「Stable Diffusion Mixture」を使ってみました。「家」と「道」と「ロボット」を別々のプロントで一つのモデルに与えるとそれを合成（Mix）した画像を生成してくれま…
github.com はじめにMasaCtrlは一貫性のある画像（例えば同じキャラクターの姿勢違いなど）を生成することが可能です。ReferenceOnly + ControlNet のようなものと思って使いました。間違っていたらごめんなさい。なにができる？結果を示した方が分かりやす…
最終更新日：2023年6月10日 Kandinsky-2とはgithub.com 上記レポジトリにはこのように記載されています。 Kandinsky 2.1 inherits best practicies from Dall-E 2 and Latent diffusion, while introducing some new ideas.日本語訳（DeepLで翻訳） Kandinsk…
はじめに少し前にBRA(Beautiful Realistic Asians) V4を使ったばかりです。 touch-sp.hatenablog.com 新たにV5が公開されたようですのでさっそく使ってみました。結果 服の色は指定していませんがseedを変えるといろいろな色になりました。実行方法こちらの…
はじめにControlNet 1.0ではすでに試しています。 touch-sp.hatenablog.com 結果が悪かったわけではないのですが新しいControlNetが公開されているので使ってみました。 モデルには「BRA(Beautiful Realistic Asians) V4」を使用しました。 さらに今回はsche…
はじめに「EasyNegative」については以下の記事を参照させて頂きました。 koneko3.com 今回はDiffuserに「EasyNegative」を導入してみます。EasyNegativeを使う必要なのはたったの2行でした。（こちらを参照） pipe.load_textual_inversion("EasyNegative-te…
はじめにあらたにDiffEdit（Zero-shot Diffusion-based Semantic Image Editing with Mask Guidance）というのがDiffusersから使えるようになっていたので試してみます。やったことはタイトル通り「写真に写る犬を猫に変換する」です。似たようなものは過去…
はじめに以前からControlNetを使って手をきれいに描画することに挑戦してきました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 何かを持つ手はさらに難易度が高いとのことで今回はそれに挑戦しました。 「スマホを持つ手」をきれいに描画することが…
はじめにStable Diffusion 2.1用のControlNetが公開されていました。 →こちらです。 Stable Diffusion 2.1をベースとしたモデルを探していたらWaifu Diffusion 1.5 Betaに行きつきました。 中でもBeta 2 - Frosty Aesthetic Verはリアルに近い画像が出力され…
SDXL版はこちら。はじめに前回の進化版です。 touch-sp.hatenablog.com 手をきれいに描くためにはcanny2imageでのエッジ検出の閾値を低く設定する必要がありました。 そうするとその他の部分も忠実に元画像が再現されてしまうので似たような画像が大量にでき…
ControlNetとInpaintを組み合わせるとどのようなことが可能になるのか？実際に使ってみて一例を紹介しています。
ControlNetのscribble2imageを使用するときに線の太さはどれくらいが適切か？いろいろなパターンを試してみました。
