2023-02-01から1ヶ月間の記事一覧

【Diffusers】DiffusersからMultiDiffusionを使ってみる(パノラマ画像が作れます)

はじめにDiffusersからMultiDiffusion(Fusing Diffusion Paths for Controlled Image Generation)を使ってみました。横長や縦長の画像を作成可能です。 デフォルトサイズは2048x512です。通常ならVRAM不足になりそうですがこちらを使うとVRAM使用量は少なく…

【Diffusers】Stable Diffusion web UI拡張機能の「Openpose Editor」の代わりになるもの

DiffusersからStable Diffusionまたはその派生モデルを使っている人でStable Diffusion web UIを使っていない人向けの記事です。 「Openpose Editor」が使えなくて困っている人がいるかもしれません。 なにかと「ControlNet」が話題ですからね。 代わりにな…

ControlNet に Counterfeit-V2.5 や Healy's Anime Blend や Anything-V4 を組み合わせてみる

最終更新日:2023年3月13日元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。Counterfeit-V2.5結果canny2image 1024x1024手をきれいに出力するために1024x1024で作成しています。以下を記入した「prompt.txt」というテキストファイルを用…

【Counterfeit-V2.5】【Diffusers】VAEを使用して画質をよくする(暗い画像が明るくなります)

最終更新日:2023年7月22日この記事の内容は古くなっています。 最新情報はこちらを見てください。 一応記事は残しておきます。 左がそのままの画像、右が専用のVAEを適応した画像はじめにhuggingface.co Counterfeit-V2.5はDiffusersでそのまま使用できる形…

【ControlNet】【canny2image】エッジ検出の設定をいじってみる

はじめに以前「ControlNet」の「canny2image」と「pose2image」使い方を紹介しました。 touch-sp.hatenablog.com canny2image pose2image 今回は「canny2image」におけるエッジ検出の設定についていろいろ試してみました。 といっても「low_threshold」と「h…

pix2pix-zero(Zero-shot Image-to-Image Translation)は指定した画像に対するpromptを自動で作成します。それってImage Captioningに使えるかも。

はじめに前回pix2pix-zero(Zero-shot Image-to-Image Translation)に関する記事を書きました。 touch-sp.hatenablog.com 画像内のオブジェクトを変換する過程でいったん元画像のpromptを自動生成していることに気が付きました。 pix2pix-zero内部ではBLIP…

pix2pix-zero(Zero-shot Image-to-Image Translation)を試してみる(Instruct-Pix2Pixとの比較)

はじめにpix2pix-zero(Zero-shot Image-to-Image Translation)を使って写真に写る犬を猫に変えるというタスクに挑戦しました。 github.com 以前「Instruct-Pix2Pix」というのを使ったのでそちらとの比較になります。 touch-sp.hatenablog.com PC環境 Windo…

【Diffusers】Attend and Exciteを使ってみる

はじめにDiffusersからAttend and Excite(Attention-Based Semantic Guidance for Text-to-Image Diffusion Models)が使えるようになっていたのでさっそく使ってみました。 github.com 疑問点通常のStable Diffusionなどでは、複数のオブジェクトを生成す…

【ControlNet】【Windows】人物の姿勢を決める試み

ControlNetのcanny2imageとpose2imageを使って人物の姿勢を決める試みを行いました。

【Diffusers】Inpaintモデルのファインチューニング

これでなにができる? 環境構築 実行 はまりポイント その他 これでなにができる?左の画像を右のように修正できるようになります。 こちらをみて頂ければ効果が分かってもらえると思います。環境構築 Ubuntu 22.04 on WSL (Windows 11) CUDA 11.7.1 Python …

【cloneofsimo/lora】LoRA(Low-Rank Adaptation)を試してみる

はじめに以前、Diffusersを使ってLoRA(Low-Rank Adaptation)を試しました。 touch-sp.hatenablog.com 今回は本家のLoRAを使ってみます。 github.com 違いはtext encoderのファインチューンができる事とDiffusesモデルへの出力が簡単なことです。環境構築「bi…

【xFormers】DiffusersでDreamBoothを試す(VRAM 12GBでDreamBoothの実行は可能か?)

公開日:2023年2月3日 最終更新日:2023年2月13日 はじめに 環境構築 設定 text encoderのファインチューニングなし text encoderのファインチューニングあり 現時点での結論 結果 text encoderのファインチューニングなし 400steps 800steps text encoderの…

【Tune-A-Video】数枚の写真からショート動画が作れる時代になりました

公開日:2023年2月2日 更新日:2023年2月7日(最新の結果を追加しました)はじめに「Tune-A-Video」というのを使ってショート動画を作りました。 github.com やったこと用意した写真 このようなロボットの写真を数枚用意しました。結果上記のロボットがサー…