画像生成
はじめにControlNetのcanny2imageについて深堀りしていきます。前回Canny法によるエッジ検出の設定が重要なことが分かりました。 touch-sp.hatenablog.com 今回は元画像が生成画像（今回は768x768とします）より大きい場合のリサイズについてです。 リサイズ…
はじめに前回ControlNetのcanny2imageにおけるCanny法によるエッジ検出の設定について書きました。 touch-sp.hatenablog.com 実際に結果がどう変わるかをAnything-V4を使って検証しました。 テーマは「手」をきれいに出力することです。元画像 元画像はぱく…
はじめにDiffusersからMultiDiffusion(Fusing Diffusion Paths for Controlled Image Generation)を使ってみました。横長や縦長の画像を作成可能です。 デフォルトサイズは2048x512です。通常ならVRAM不足になりそうですがこちらを使うとVRAM使用量は少なく…
最終更新日：2023年3月13日元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。Counterfeit-V2.5結果canny2image 1024x1024手をきれいに出力するために1024x1024で作成しています。以下を記入した「prompt.txt」というテキストファイルを用…
最終更新日：2023年7月22日この記事の内容は古くなっています。 最新情報はこちらを見てください。 一応記事は残しておきます。 左がそのままの画像、右が専用のVAEを適応した画像はじめにhuggingface.co Counterfeit-V2.5はDiffusersでそのまま使用できる形…
はじめに以前「ControlNet」の「canny2image」と「pose2image」使い方を紹介しました。 touch-sp.hatenablog.com canny2image pose2image 今回は「canny2image」におけるエッジ検出の設定についていろいろ試してみました。 といっても「low_threshold」と「h…
はじめにpix2pix-zero（Zero-shot Image-to-Image Translation）を使って写真に写る犬を猫に変えるというタスクに挑戦しました。 github.com 以前「Instruct-Pix2Pix」というのを使ったのでそちらとの比較になります。 touch-sp.hatenablog.com PC環境 Windo…
はじめにDiffusersからAttend and Excite（Attention-Based Semantic Guidance for Text-to-Image Diffusion Models）が使えるようになっていたのでさっそく使ってみました。 github.com 疑問点通常のStable Diffusionなどでは、複数のオブジェクトを生成す…
ControlNetのcanny2imageとpose2imageを使って人物の姿勢を決める試みを行いました。
これでなにができる？ 環境構築 実行 はまりポイント その他 これでなにができる？左の画像を右のように修正できるようになります。 こちらをみて頂ければ効果が分かってもらえると思います。環境構築 Ubuntu 22.04 on WSL (Windows 11) CUDA 11.7.1 Python …
はじめに以前、Diffusersを使ってLoRA(Low-Rank Adaptation)を試しました。 touch-sp.hatenablog.com 今回は本家のLoRAを使ってみます。 github.com 違いはtext encoderのファインチューンができる事とDiffusesモデルへの出力が簡単なことです。環境構築「bi…
公開日：2023年2月3日 最終更新日：2023年2月13日 はじめに 環境構築 設定 text encoderのファインチューニングなし text encoderのファインチューニングあり 現時点での結論 結果 text encoderのファインチューニングなし 400steps 800steps text encoderの…
はじめに前回DreamBoothとLoRA(Low-Rank Adaptation)を別々に実行しました。 touch-sp.hatenablog.com 現在、Diffusersではtext encoderのファインチューニングができるLoRAは実装されていません。 github.com そこでDreamBoothでtext encoderのファインチュ…
Diffusersを使ってDreamBoothとLoRA(Low-Rank Adaptation)の二つの方法でStable Diffusion v1.4をファインチューニングしました。比較のため二つの結果を残しておきます。
はじめに 環境構築 実験と結果 text encoderのファインチューニングなし no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpoin…
最終更新日：2023年2月17日 はじめに 結果 比較 Pythonスクリプト Instruct-Pix2Pix Paint-by-Example Stable-Diffusion-2-Inpainting 追記 関連記事 はじめに最近公開された「Instruct-Pix2Pix」をDiffusersから使ってみました。 huggingface.co 結果ベンチ…
はじめに 環境構築 PC環境 Python環境の構築 Pythonスクリプトのダウンロード 設定 prior-preservation lossなし no use_8bit_adam no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkp…
DiffusersでLoRA(Low-Rank Adaptation of Large Language Models)を動かしてみました。使用したのはRTX 3080 VRAM 12GBです。
はじめに 環境構築 PC環境 Python環境の構築 事前準備 Stable Diffusion v1.4のダウンロード Pythonスクリプトのダウンロード 使用する画像のダウンロード 実行 学習 推論 公式チュートリアル 参考にさせて頂いたサイト その他 追記 はじめにTextual Inversi…
はじめにいろいろなモデルで画像加工を行っています。注目点はペンを持つ右手の指の描写です。今回はCounterfeit-V2.0というのを使わせて頂きました。strengthを0.9と高く設定しても元画像の印象を残す傾向にあるように感じました。今回の結果（Counterfeit-…
今回の結果（Anything V3） 前々回（waifu diffusion v1.4）の結果 記事はこちらです。前回の結果（dreamlike-photoreal-2.0） 記事はこちらです。追記2023年1月末に再アップロードされて全体的に暗い画像になる問題が改善しています。 [:256]
前回（waifu diffusion）の結果 記事はこちらです。今回の結果（dreamlike-photoreal-2.0） dreamlike-artが公開してくれているdreamlike-photoreal-2.0のimg2imgをdiffusersから実行してみました。 huggingface.co 指の描写を含めて非常にきれいにできまし…
はじめに prompt prompt negative prompt パラメーター strength seed guidance_scale 結果 はじめに前回はstable-diffusion-2-depthを使ってイラストを加工しました。 touch-sp.hatenablog.com 今回はwaifu diffusionを使ってみます。 画像を大量に生成する…
最終更新日：2023年8月11日 この記事の内容は古くなっています。 「from_single_file」を使うとこの記事にあるような変換は不要です。 こちらを参照して下さい。 一応古くなった記事も残しておきます。 はじめに 環境 方法 ckptファイルのダウンロード YAML…
はじめに 結果 AOT-GANの使い方 環境 Pythonスクリプト 実行 はじめに以前PaintByExampleというのを使って画像から犬を消しました。 touch-sp.hatenablog.com 今回はAOT-GANで同じことをやって結果を比較してみました。 AOT-GANはOpenMMLabのMMEditingから使…
はじめに 手順１ 手順２ １（一番最初） prompt negative prompt 結果 ２（「portrait of」を足してみる） prompt negative prompt 結果 ３（「photorealistic」を足してみる） ４（「octane render」を足してみる） ５（「diffused natural skin glow」を足…
公開日：2023年1月4日 最終更新日：2023年1月22日 はじめに 動作環境 方法 手順０ 手順１（「prompt」について） prompt negative prompt 手順２（「strength」について） 手順３（「guidance_scale」について） 手順４（「seed」をいろいろ変えてみる） 手…
はじめに 元画像 prompt（呪文） prompt negative prompt 結果 Pythonスクリプト 感想 追記（v1-4） prompt negative prompt パラメーター はじめに前回の続きです。 touch-sp.hatenablog.com 「waifu-diffusion-v1-3-5」がdiffusersから使えるようになって…
はじめに 目的 方法１ Pythonスクリプト 結果 方法２ 結果 はじめに画像生成AIでは「Stable Diffusion」などが有名ですが、他にもいろいろなモデルが存在します。写真に写った犬を猫に変えるといった時には「PaintByExample」というのが有用です。さっそく試…
はじめにStable Diffusionで画像を生成していると要らないもの描写されていることがあります。そんな時はinpaintで消すのが良いと思います。マスク画像を作るマスク画像は四角で囲むだけなら以下のスクリプトで簡単に作成できます。 import cv2 import numpy…
