huggingface.co はじめに以前から「Depth」の ControlNet は公開されていました。 touch-sp.hatenablog.com 新たに「 Zoe-Depth」の ControlNet が公開されたので使ってみました。元画像こちらで作成した画像を使用しました。「girl.png」として保存していま…

はじめにDiffusersにSDXL用のMulti-ControlNetが実装されたので使ってみました。元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。 1024x1024になるようにトリミング、リサイズして「girl.jpg」として保存しています。 ここからImage2Ima…

huggingface.co はじめに「Canny」「Depth」に続いて「OpenPose」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 「Depth」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像ぱくたその画…

huggingface.co はじめに「Canny」に続いて「Depth」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像こちらで作成した画像を使用しました。「girl.png」として保存しています。 Depth画像の作成4…

はじめに 本題 実行 結果 他のモデルとの比較 original SDXL DreamShaper XL1.0 alpha2 CounterfeitXL beta niji-diffusion-xl-base-1.0 v1.1 niji-diffusion-xl-base-1.0 v2.0 niji-diffusion-xl-base-1.0 v2.3 Animagine XL Mysterious - SDXL Version v3.…

待望のSDXL 1.0 (Stable Diffusion XL 1.0) 用ControlNetが公開され始めています。今のところは「Canny」しか公開されていませんが今後増えると思われます。その都度記事は更新していきます。

github.com 今回使用したのは「controlnet-aux==0.0.7」です。 mediapipeも一緒にインストールする必要があります。 pip install controlnet-aux mediapipePythonスクリプト from diffusers.utils import load_image from controlnet_aux.processor import P…

最終更新日：2023年7月28日はじめに以前Kandinsky 2.1に関する記事を書きました。 touch-sp.hatenablog.com 今回は新しくなったKandinsky 2.2をControlNetと組み合わせて使ってみます。 「Text-to-Image」と「Image-to-Image」の両方で使えるようなので比較…

はじめにタイトル通りです。V6はこちらからダウンロードさせて頂きました。 V4、V5の記事はこちらです。 touch-sp.hatenablog.com touch-sp.hatenablog.com 結果 自分はV5の方が好みかもしれません。実行方法「cv2_canny.py」と「canny2image_torch2.py」を…

最終更新日：2023年4月21日 PyTorch 2.0 + xFormerの組み合わせで以前よりVRAM使用量がかなり削減されています。 github.com結果元動画 作成動画prompt:「An ostrich walking in the desert, photorealistic, 4k」 PROMPT="An ostrich walking in the desert…

最終更新日：2023年6月13日 DiffusionのText2Video-ZeroがTorch2.0用にアップデートされました。 VRAM使用量が改善したようなので記事を更新しました。 github.com 結果 左のポーズ動画から右の動画を作成しました。 ポーズ動画はこちらからダウンロードさせ…

はじめにRTX 3080 (VRAM12GB)を使って力任せに動画作成をしてみました。前回使用したText2Video-ZeroにControlNetを組み合わせています。 touch-sp.hatenablog.com あらたにスクリプトを書きました。 こちらです→「canny_video2video.py」結果Anything-v5.0 …

github.com 特徴今わかっている特徴は 簡単に使える いろんなモデルが使える ControlNetが使える 注意点VRAM使用は11～12GBでした。VRAM 12GBのRTX 3080で動作確認しています。さっそく使ってみるsimple Text-To-Video非常に簡潔なスクリプトで実行可能です…

はじめに以前からControlNetを使って手をきれいに描画することに挑戦してきました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 何かを持つ手はさらに難易度が高いとのことで今回はそれに挑戦しました。 「スマホを持つ手」をきれいに描画することが…

はじめにStable Diffusion 2.1用のControlNetが公開されていました。 →こちらです。 Stable Diffusion 2.1をベースとしたモデルを探していたらWaifu Diffusion 1.5 Betaに行きつきました。 中でもBeta 2 - Frosty Aesthetic Verはリアルに近い画像が出力され…

SDXL版はこちら。はじめに前回の進化版です。 touch-sp.hatenablog.com 手をきれいに描くためにはcanny2imageでのエッジ検出の閾値を低く設定する必要がありました。 そうするとその他の部分も忠実に元画像が再現されてしまうので似たような画像が大量にでき…

ControlNetとInpaintを組み合わせるとどのようなことが可能になるのか？実際に使ってみて一例を紹介しています。

ControlNetのscribble2imageを使用するときに線の太さはどれくらいが適切か？いろいろなパターンを試してみました。

はじめにControlNetのcanny2imageについて深堀りしていきます。前回Canny法によるエッジ検出の設定が重要なことが分かりました。 touch-sp.hatenablog.com 今回は元画像が生成画像（今回は768x768とします）より大きい場合のリサイズについてです。 リサイズ…

はじめに前回ControlNetのcanny2imageにおけるCanny法によるエッジ検出の設定について書きました。 touch-sp.hatenablog.com 実際に結果がどう変わるかをAnything-V4を使って検証しました。 テーマは「手」をきれいに出力することです。元画像 元画像はぱく…

最終更新日：2023年3月13日元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。Counterfeit-V2.5結果canny2image 1024x1024手をきれいに出力するために1024x1024で作成しています。以下を記入した「prompt.txt」というテキストファイルを用…