【Diffusers】BRA(Beautiful Realistic Asians) V4 と ControlNet 1.1を組み合わせて使ってみました

はじめに

ControlNet 1.0ではすでに試しています。
touch-sp.hatenablog.com
結果が悪かったわけではないのですが新しいControlNetが公開されているので使ってみました。

モデルには「BRA(Beautiful Realistic Asians) V4」を使用しました。

さらに今回はschedulerに「karras sigmas」を追加してみました。最近Diffusersに追加されたものです。

また、「EasyNegative」も使用しています。

設定

model: BRA(Beautiful Realistic Asians) V4
controlnet: control_v11p_sd15_canny
vae: vae-ft-mse-840000-ema-pruned
scheduler: multistepdpm, use_karras_sigmas=True
prompt: masterpiece, 1girl, 8k, RAW photo, realistic, photo-realistic, best quality, extremely detailed
negative prompt: EasyNegative, paintings, sketches, worst quality, low quality

BRA(Beautiful Realistic Asians) V4はCVITAIからダウンロードしてDiffusers用に変換しました。
（変換方法はこちらを参照）

vae-ft-mse-840000-ema-prunedはこちらからダウンロードしてDiffusers用に変換しました。
（変換方法はこちらを参照）

control_v11p_sd15_cannyはこちらからダウンロードしました。

結果

上の段がEasyNegativeなし、下の段がEasyNegativeありです。
左がkarras sigmasなし、右がkarras sigmasありです。

「karras sigmas=True」の効果は全く分かりませんでした。

補足

SD2.1あるいはその派生モデルを使用する場合にはコントロールネットもDiffusers用に変換が必要です。

例を載せておきます。
こちらから「control_v11p_sd21_canny.ckpt」をダウンロード。
こちらから「cldm_v21.yaml」をダウンロード。

そして以下を実行します。

python convert_original_controlnet_to_diffusers.py  ^
  --checkpoint_path control_v11p_sd21_canny.ckpt ^
  --original_config_file cldm_v21.yaml ^
  --image_size 768 ^
  --extract_ema ^
  --upcast_attention ^
  --dump_path control_v11p_sd21_canny ^
  --to_safetensors ^
  --device cuda:0