結果 一番左がNegative Promptなし 真ん中がunaestheticXL AYv1を使った場合 一番右がunaestheticXL v3.1を使った場合使い方 from safetensors.torch import load_file state_dict = load_file("embeddings/unaestheticXLv31.safetensors") pipe.load_textua…

今回の商品 GROVE - 16 x 2 LCD（青背景・白文字）www.switch-science.com 使用例接続がめちゃめちゃ簡単です。 Arduinoスケッチ #include <Wire.h> #include <rgb_lcd.h> rgb_lcd lcd; void setup() { lcd.begin(16, 2); lcd.print("hello, world!"); } void loop() { } ちなみ</rgb_lcd.h></wire.h>…

はじめにImage2Image + LoRAは以前に試しています。 touch-sp.hatenablog.com 今回は「SDXL Caricaturized Lora」というLoRAを使って顔写真から似顔絵を作成してみます。結果一番左がもとの顔写真、右3枚が今回作成した画像です。 3年程前に「WarpGAN」とい…

github.com 結果 作成動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 環境 Windows 11 CUDA 11.7 Python 3.10 Git for Windows 2.39.0Python環境構築1行で完結します。 pip install -r https://raw.githubusercontent.com/dai-ichiro/m…

実行動画の準備今回はこちらからダウンロードした「dance26.mp4」という動画を使わせて頂きます。 600x600で75フレームある動画です。 Configファイルの書き換えこちらから「anythingv3_config.py」をダウンロードして一部を書き換えます。 書き換え前 contr…

はじめに以前から超解像の記事はいくつも書いてきました。超解像（Super Resolution）とは画像の解像度を上げることです。「アップスケール」と言われているものとほぼ同じだと思います。今まではOpenMMLabのMMEditingを使うことが多かったのですが、いつの…

はじめに以前 Instruct-Pix2Pix の記事を書きました。 touch-sp.hatenablog.com 今回 SDXLに対応したとのことで改めて試してみました。 huggingface.co 768x768の画像データで学習されているようです。特徴写真に写る犬を猫に変換したい場合プロンプトは「re…

環境 WIndows 11 CUDA 11.7 Python 3.10Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/torch…

環境 WIndows 11 CUDA 11.7 Python 3.10Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/torch…

,はじめにDiffusers に「StableDiffusionXLControlNetInpaintPipeline」という SDXL 1.0 に対して ControlNet と Inpaint を組み合わせて使えるPipelineが実装されました。さっそく使ってみたいと思います。元画像 元画像はぱくたそから使わせて頂きました。…

github.com はじめにディープフェイク画像が作れるという事で「悪用厳禁」、使用は「自己責任」でお願いします。WSL2を使いました。環境構築で難しいのはcudnnをインストールするところだけです。環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10準備cuDNN…

はじめに PC環境 Pythonの環境構築 学習済みモデルのダウンロード リポジトリのクローン いよいよ実行 等倍 2倍にアップスケール ここからが本題です 結果 追記 はじめにGFPGANをWindows環境で使う方法を紹介します。 github.com PC環境 Windows 11 CUDA 11.…

github.com はじめにMasaCtrlに関しては過去に記事を書いているのでよかったら見て下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 簡単に言うと一貫性のある画像（例えば同じキャラクターの姿勢違いなど）を生成することが可能なモデルです。 SD…

huggingface.co はじめにDiffusersを使わない場合の記事を以前書きました。 touch-sp.hatenablog.com 今回、DiffusersからT2I-Adapterが使えるようになったので使い方を紹介します。方法Canny画像から画像生成もともとCanny画像が用意できているものとします…

はじめに「fuduki_mix」というモデルを公開してくれている「kotajiro001」さんが新たにSDXL派生モデルとして「haduki_mix」というモデルを公開してくれています。この方は「yayoi_mix」というSD 1.5のモデルも公開してくれています。弥生（やよい：3月）文月…

huggingface.co はじめに以前から「Depth」の ControlNet は公開されていました。 touch-sp.hatenablog.com 新たに「 Zoe-Depth」の ControlNet が公開されたので使ってみました。元画像こちらで作成した画像を使用しました。「girl.png」として保存していま…

はじめに「StableVideo」で自前の動画を元動画として使用する場合には事前学習が必要です。「StableVideo」については以下の記事を見て下さい。 touch-sp.hatenablog.com 事前学習を行うのが「layered-neural-atlases」です。 さっそく「layered-neural-atla…

github.com はじめに前回「StableVideo」について記事を書きました。 touch-sp.hatenablog.com 自前の動画を元動画として使用する場合には事前学習が必要になります。 それを行うのが「layered-neural-atlases」です。環境 Ubuntu 20.04 on WSL2 CUDA 11.6 P…

github.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.11.4 Python環境構築は以下の1行です。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/StableVideo/requirements_cu118.txtこれで失敗するようなら以下を試し…

環境Windows 11ではうまく動きませんでした。以下の環境で実行しています。 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10実行と結果元画像からCanny画像を作成してから画像生成SDXL 1.0-base python test.py \ --prompt 'portrait of japanese girl, plain w…

はじめにタイトルにあるように Diffusers で SDXL に ControlNet と LoRA が併用できるようになりました。「DreamShaper XL1.0」というSDXL派生モデルに ControlNet と「Japanese Girl - SDXL」という LoRA を使ってみました。「Japanese Girl - SDXL」は日…

はじめに前回ESP-WROOM-32同士をBluetoothで接続してシリアル通信を無線化しました。 touch-sp.hatenablog.com これが出来たらラジコン作りたくなります。 ということで作ってみました。完成品車 コントローラー 特徴Groveコネクタを利用してなるべくはんだ…

はじめにDiffusersからGLIGENというモデルが使えるようになりました。 github.com ControlNetと非常に似ているものになりますが、ボックスで物体の場所を指定できるところが特徴の一つです。 今回はその特徴を使いながら画像生成をしてみました。 まずはこの…

はじめにリアルな（アニメではない）美しい女性が描けるモデルとして「yayoi_mix」があります。そのモデルを公開してくれている「kotajiro001」さんがSDXL派生モデルとして「fuduki_mix」というモデルを公開してくれています。さっそく使ってみました。使い…

はじめにDiffusersにSDXL用のMulti-ControlNetが実装されたので使ってみました。元画像 元画像はぱくたそから使わせて頂きました。 こちらの画像です。 1024x1024になるようにトリミング、リサイズして「girl.jpg」として保存しています。 ここからImage2Ima…

使用したのはこちらです。二つ用意しています。 ESPr® Branch 32（Groveコネクタ付き）www.switch-science.com BluetoothのMACアドレスを取得する一つのESPに以下を書き込み実行します。今後こちらがスレイブ側になります。 void setup(void) { Serial.begin…

huggingface.co はじめに「Canny」「Depth」に続いて「OpenPose」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 「Depth」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像ぱくたその画…

huggingface.co はじめに「Canny」に続いて「Depth」の ControlNet が公開されました。「Canny」に関してはこちらを見て下さい。 touch-sp.hatenablog.com 元画像こちらで作成した画像を使用しました。「girl.png」として保存しています。 Depth画像の作成4…

はじめに前回の続きです。 touch-sp.hatenablog.com より良い結果を求めて設定をいろいろいじってみました。 今回はデータセットを二つ用意しました。 一つ目は前回と同じもの（36枚）です。 二つ目は新たに写真撮った28枚です。テキストエンコーダーの学習…

はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。いわゆる通常のLoRAとは異なるようです。以前にサンプル画像を使って学習を行いました。 touch-sp.hatenablog.com 今回は自前の画像を学習させてみました…