はじめに前回DreamBoothとLoRA(Low-Rank Adaptation)を別々に実行しました。 touch-sp.hatenablog.com 現在、Diffusersではtext encoderのファインチューニングができるLoRAは実装されていません。 github.com そこでDreamBoothでtext encoderのファインチュ…

Diffusersを使ってDreamBoothとLoRA(Low-Rank Adaptation)の二つの方法でStable Diffusion v1.4をファインチューニングしました。比較のため二つの結果を残しておきます。

はじめに 環境構築 実験と結果 text encoderのファインチューニングなし no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpoin…

最終更新日：2023年2月17日 はじめに 結果 比較 Pythonスクリプト Instruct-Pix2Pix Paint-by-Example Stable-Diffusion-2-Inpainting 追記 関連記事 はじめに最近公開された「Instruct-Pix2Pix」をDiffusersから使ってみました。 huggingface.co 結果ベンチ…

はじめに 環境構築 PC環境 Python環境の構築 Pythonスクリプトのダウンロード 設定 prior-preservation lossなし no use_8bit_adam no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkp…

DiffusersでLoRA(Low-Rank Adaptation of Large Language Models)を動かしてみました。使用したのはRTX 3080 VRAM 12GBです。

はじめに 環境構築 PC環境 Python環境の構築 事前準備 Stable Diffusion v1.4のダウンロード Pythonスクリプトのダウンロード 使用する画像のダウンロード 実行 学習 推論 公式チュートリアル 参考にさせて頂いたサイト その他 追記 はじめにTextual Inversi…

はじめにいろいろなモデルで画像加工を行っています。注目点はペンを持つ右手の指の描写です。今回はCounterfeit-V2.0というのを使わせて頂きました。strengthを0.9と高く設定しても元画像の印象を残す傾向にあるように感じました。今回の結果（Counterfeit-…

公開日：2023年1月14日 最終更新日：2023年2月17日 はじめに 方法の概略 実行 Clone サンプル動画のダウンロード 学習データ作成、学習 推論 画像 Webカメラ 環境構築 使用させて頂いたツール その他 はじめにYOLOv8が公開されました。開発元はYOLOv5と同じU…

今回の結果（Anything V3） 前々回（waifu diffusion v1.4）の結果 記事はこちらです。前回の結果（dreamlike-photoreal-2.0） 記事はこちらです。追記2023年1月末に再アップロードされて全体的に暗い画像になる問題が改善しています。 [:256]

前回（waifu diffusion）の結果 記事はこちらです。今回の結果（dreamlike-photoreal-2.0） dreamlike-artが公開してくれているdreamlike-photoreal-2.0のimg2imgをdiffusersから実行してみました。 huggingface.co 指の描写を含めて非常にきれいにできまし…

はじめに prompt prompt negative prompt パラメーター strength seed guidance_scale 結果 はじめに前回はstable-diffusion-2-depthを使ってイラストを加工しました。 touch-sp.hatenablog.com 今回はwaifu diffusionを使ってみます。 画像を大量に生成する…

最終更新日：2023年8月11日 この記事の内容は古くなっています。 「from_single_file」を使うとこの記事にあるような変換は不要です。 こちらを参照して下さい。 一応古くなった記事も残しておきます。 はじめに 環境 方法 ckptファイルのダウンロード YAML…

はじめに 結果 AOT-GANの使い方 環境 Pythonスクリプト 実行 はじめに以前PaintByExampleというのを使って画像から犬を消しました。 touch-sp.hatenablog.com 今回はAOT-GANで同じことをやって結果を比較してみました。 AOT-GANはOpenMMLabのMMEditingから使…

はじめに 手順１ 手順２ １（一番最初） prompt negative prompt 結果 ２（「portrait of」を足してみる） prompt negative prompt 結果 ３（「photorealistic」を足してみる） ４（「octane render」を足してみる） ５（「diffused natural skin glow」を足…

はじめに PC環境 CUDA 11.6 + PyTorch 1.13.1 CUDA 11.8 + PyTorch 2.1.1 学習済みモデルのダウンロード いよいよ実行 手順１ 手順２ ここからが本題です はじめにReal-ESRGANをWindows環境で非常に簡単に使う方法を紹介します。 github.com PC環境CUDA 11.6…

公開日：2023年1月4日 最終更新日：2023年1月22日 はじめに 動作環境 方法 手順０ 手順１（「prompt」について） prompt negative prompt 手順２（「strength」について） 手順３（「guidance_scale」について） 手順４（「seed」をいろいろ変えてみる） 手…

はじめに Pythonスクリプト YAMLファイル 動作環境 注意 はじめに以前PyQtで書いたスクリプトをPySide用に書き換えただけです。 touch-sp.hatenablog.com Pythonスクリプト from PySide6.QtCore import Slot, Qt, QThread from PySide6.QtWidgets import QMa…

はじめに 元画像 prompt（呪文） prompt negative prompt 結果 Pythonスクリプト 感想 追記（v1-4） prompt negative prompt パラメーター はじめに前回の続きです。 touch-sp.hatenablog.com 「waifu-diffusion-v1-3-5」がdiffusersから使えるようになって…

はじめに画像生成AIをいろいろローカルでいじり倒したい。そのためだけにノートPCを新調しました。ゲームはまったくしないのにつよつよゲーミングPCです。以前のPCはこちらです。 touch-sp.hatenablog.com またまたDosparaの「GALLERIA」です。以前使用して…

はじめに 目的 方法１ Pythonスクリプト 結果 方法２ 結果 はじめに画像生成AIでは「Stable Diffusion」などが有名ですが、他にもいろいろなモデルが存在します。写真に写った犬を猫に変えるといった時には「PaintByExample」というのが有用です。さっそく試…

はじめにStable Diffusionで画像を生成していると要らないもの描写されていることがあります。そんな時はinpaintで消すのが良いと思います。マスク画像を作るマスク画像は四角で囲むだけなら以下のスクリプトで簡単に作成できます。 import cv2 import numpy…