はじめにStable Diffusionなどの拡散モデルを使ったVideo2Videoが盛んに開発されています。GAN（敵対的生成ネットワーク）を使っても同様のことができる気がするのですが、すでに古い技術になってしまったのかあまりそれに言及する人がいません。GANを使った…

はじめに無料でできる動画作成をいろいろ試しましたが顔だけを動かすなら現状 SadTalker がベストだと思います。AnimateDiffが話題になっていて更新され続けているのでいずれはそちらがベストになるような気もします。画像を1枚だけ準備する今回用意した画像…

目的画像生成モデルに自前の物体を描画させる試みです。以前にもDreamBoothやLoRAで同様のことをやっています。 この物体を描写させます。具体的にはビーチに立たせてみます。 ViCo (Detail-Preserving Visual Condition for Personalized Text-to-Image Gen…

github.com はじめにすでに開発してくれている個人がいます。上記GitHubがそれです。今回はそちらを使わせて頂きVideo2Videoに挑戦しました。環境imageioは2.27.0かまたはそれ以前のものを使う必要があります。それ以降を使うと以下のエラーが出ます。 TypeE…

環境 Windows 11 CUDA 11.7 Python 3.11.5Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/tor…

github.com はじめにIP-Adapter を Stable Diffusion Web UI の拡張機能としてではなく公式のGitHub通りに動かしてみました。IP-Adapterは画像をプロンプトのように扱うモデルです。画像をモデルに与えることで生成画像を制御します。冒頭の画像は左の人物に…

結果 左からCLIP-skip None→1→2→3です。Pythonスクリプト from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler import torch import os model_id = "osorubeshimerge_v10.safetensors" pipe = StableDiffusionXLPipeline.from_si…

結果 一番左がNegative Promptなし 真ん中がunaestheticXL AYv1を使った場合 一番右がunaestheticXL v3.1を使った場合使い方 from safetensors.torch import load_file state_dict = load_file("embeddings/unaestheticXLv31.safetensors") pipe.load_textua…

今回の商品 GROVE - 16 x 2 LCD（青背景・白文字）www.switch-science.com 使用例接続がめちゃめちゃ簡単です。 Arduinoスケッチ #include <Wire.h> #include <rgb_lcd.h> rgb_lcd lcd; void setup() { lcd.begin(16, 2); lcd.print("hello, world!"); } void loop() { } ちなみ</rgb_lcd.h></wire.h>…

はじめにImage2Image + LoRAは以前に試しています。 touch-sp.hatenablog.com 今回は「SDXL Caricaturized Lora」というLoRAを使って顔写真から似顔絵を作成してみます。結果一番左がもとの顔写真、右3枚が今回作成した画像です。 3年程前に「WarpGAN」とい…

github.com 結果 作成動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 環境 Windows 11 CUDA 11.7 Python 3.10 Git for Windows 2.39.0Python環境構築1行で完結します。 pip install -r https://raw.githubusercontent.com/dai-ichiro/m…

実行動画の準備今回はこちらからダウンロードした「dance26.mp4」という動画を使わせて頂きます。 600x600で75フレームある動画です。 Configファイルの書き換えこちらから「anythingv3_config.py」をダウンロードして一部を書き換えます。 書き換え前 contr…

はじめに以前から超解像の記事はいくつも書いてきました。超解像（Super Resolution）とは画像の解像度を上げることです。「アップスケール」と言われているものとほぼ同じだと思います。今まではOpenMMLabのMMEditingを使うことが多かったのですが、いつの…

はじめに以前 Instruct-Pix2Pix の記事を書きました。 touch-sp.hatenablog.com 今回 SDXLに対応したとのことで改めて試してみました。 huggingface.co 768x768の画像データで学習されているようです。特徴写真に写る犬を猫に変換したい場合プロンプトは「re…

環境 WIndows 11 CUDA 11.7 Python 3.10Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/torch…

環境 WIndows 11 CUDA 11.7 Python 3.10Python環境構築 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install mmcv==2.0.1 -f https://download.openmmlab.com/mmcv/dist/cu117/torch…

,はじめにDiffusers に「StableDiffusionXLControlNetInpaintPipeline」という SDXL 1.0 に対して ControlNet と Inpaint を組み合わせて使えるPipelineが実装されました。さっそく使ってみたいと思います。元画像 元画像はぱくたそから使わせて頂きました。…

github.com はじめにディープフェイク画像が作れるという事で「悪用厳禁」、使用は「自己責任」でお願いします。WSL2を使いました。環境構築で難しいのはcudnnをインストールするところだけです。環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10準備cuDNN…

はじめに PC環境 Pythonの環境構築 学習済みモデルのダウンロード リポジトリのクローン いよいよ実行 等倍 2倍にアップスケール ここからが本題です 結果 追記 はじめにGFPGANをWindows環境で使う方法を紹介します。 github.com PC環境 Windows 11 CUDA 11.…