はじめに
Diffusersを使ってDreamBoothとLoRA(Low-Rank Adaptation)の二つの方法でStable Diffusion v1.4をファインチューニングしました。比較のため二つの結果を残しておきます。目的
今回やりたかったことはファインチューニングしたモデルに「sks robo」というpromptを与えて以下のようなオリジナルのロボットを出力することです。
「sks」は適当な文字列です。
ロボットは子供にブロックを借りて適当に自分が作ったものです。
結果
promptは「sks robo on the beach」です。使用したモデルは「stable-diffusion-v1-4」で一緒です。
ファインチューニング後の出力はseedを同じにして4枚出力しています。
DreamBooth
Learning Rate: 1e-6 Steps: 1600 num of Class Data: 400
LoRA(Low-Rank Adaptation)
Learning Rate: 1e-4 Steps: 1600 num of Class Data: 400
関連記事
ファインチューニングの方法は以下の記事に記録を残しています。touch-sp.hatenablog.com
touch-sp.hatenablog.com