SDXL 1.0 (Stable Diffusion XL 1.0) に使える T2I-Adapter-SDXL が公開されているので紹介します

環境

Windows 11ではうまく動きませんでした。以下の環境で実行しています。

Ubuntu 22.04 on WSL2
CUDA 11.8
Python 3.10

実行と結果

元画像からCanny画像を作成してから画像生成

SDXL 1.0-base

python test.py \
  --prompt 'portrait of japanese girl, plain white t-shirt, 8k, detailed' \
  --neg_prompt 'hand, finger, worst quality, low quality' \
  --config configs/inference/Adapter-XL-canny.yaml \
  --path_source examples/girl.png \
  --in_type image

fuduki_mix

SDXL派生モデルにも使えます。

python test.py \
  --model_id 'models/fudukiMix_v10_ema' \
  --prompt 'portrait of japanese girl, plain white t-shirt, 8k, detailed' \
  --neg_prompt 'hand, finger, worst quality, low quality' \
  --config configs/inference/Adapter-XL-canny.yaml \
  --path_source examples/girl.png \
  --in_type image

BreakDomainXL V03d

prompt: portrait of japanese girl, plain white t-shirt, 8k, detailed
neg_prompt: hand, finger, worst quality, low quality

OsorubeshiMerge v1.0

prompt: portrait of 1girl, plain white t-shirt, 8k, detailed, anime, mastepiece, best quality
neg_prompt: hand, finger, worst quality, low quality

Canny画像から画像生成

SDXL 1.0-base

python test.py \
  --prompt 'a couple watching a romantic sunset, 4k photo' \
  --config configs/inference/Adapter-XL-canny.yaml \
  --path_source examples/couple.png \
  --in_type canny

モデルはまだ訓練中であり今後改善するようです。

原文そのまま

Due to the limited computing resources, those adapters are not fully trained. 
We are collaborating with HuggingFace, and a more powerful adapter is in the works.