【SDXL 1.0】yayoi_mix を公開している人がSDXL派生の fuduki_mix というモデルを公開してくれています

はじめに

リアルな（アニメではない）美しい女性が描けるモデルとして「yayoi_mix」があります。

そのモデルを公開してくれている「kotajiro001」さんがSDXL派生モデルとして「fuduki_mix」というモデルを公開してくれています。

さっそく使ってみました。

使い方

今回はDiffusersで初めて「DPM++ 2M SDE Karras」を使ってみました。

このスケジューラーが推奨されています。

pipe.scheduler = DPMSolverMultistepScheduler.from_config(
    pipe.scheduler.config,
    algorithm_type="sde-dpmsolver++",
    use_karras_sigmas=True)

ネガティブプロンプトは使いませんでした。

サイズは推奨されている通りに1152✕896としました。

リファイナーは使っていません。

from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler
import torch

pipe = StableDiffusionXLPipeline.from_single_file(
    "safetensors/fudukiMix_v08.safetensors",
    load_safety_checker=False,
    extract_ema=True,
    torch_dtype=torch.float16 
    )

pipe.scheduler = DPMSolverMultistepScheduler.from_config(
    pipe.scheduler.config,
    algorithm_type="sde-dpmsolver++",
    use_karras_sigmas=True)
    
pipe.to("cuda")

prompt = "portrait of young japanese girl, 25yo, 8k, detailed, standing on street, smiling, plain white t-shirt, eye level angle"

seed_list = [10000, 20000, 30000, 40000]

for seed in seed_list:
    generator = torch.manual_seed(seed)
    image = pipe(
        prompt=prompt,
        generator=generator,
        num_inference_steps = 30,
        width=1152,
        height=896).images[0]

    image.save(f"seed{seed}.png")

結果

注意

「StableDiffusionXLPipeline」ではなく「StableDiffusionPipeline」を使うと以下のエラーがでます。

TypeError: StableDiffusionPipeline.__init__() got an unexpected keyword argument 'text_encoder_2'