2023-07-01から1ヶ月間の記事一覧

SDXL 1.0 (Stable Diffusion XL 1.0) の派生モデルが公開され始めています。 CounterfeitXL というモデルを Diffusers から使ってみました。

はじめにSDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com 環境 Windows 11 CUDA 11.7 Python 3.10「omegaconf」が必要になります。 pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117 pip i…

SDXL 1.0 (Stable Diffusion XL 1.0) で Inpainting をやってみました

はじめにタイトル通りSDXL 1.0 (Stable Diffusion XL 1.0) で Inpainting をやってみました。mask画像とプロンプトを用意する必要があります。SDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com 結果写真に写る犬を猫に変換して…

SDXL 1.0 (Stable Diffusion XL 1.0) で Image2Image をやってみました

最終更新日:2023年8月2日はじめにSDXL 1.0はベースとリファイナーの2つのモデルからできています。今回はベースモデルとリファイナーモデルでそれぞれImage2Imageをやってみました。Text2ImageはSDXL 1.0のベースモデルを使わずに「BracingEvoMix_v1」を使…

SDXL 1.0 (Stable Diffusion XL 1.0) にLoRAを適用させてみました

はじめにSDXLで使えるLoRAがCIVITAIに公開されていたので使ってみました。最近公開されたDiffusers==0.22.0からLoRAの使い方が変わったようです。SDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com Pythonスクリプト「LoRA」とい…

SDXL 1.0 (Stable Diffusion XL 1.0) に専用VAEを適用させてみました

はじめにこちらにSDXL専用と思われるVAEが公開されていたので使ってみました。 huggingface.co SDXL 1.0の基本的な使い方はこちらを参照して下さい。 touch-sp.hatenablog.com Pythonスクリプト from diffusers import DiffusionPipeline, AutoencoderKL imp…

SDXL 1.0 (Stable Diffusion XL 1.0) が公開されたので Diffusers から使ってみる

最終更新日:2023年8月5日はじめに新しく公開されたSDXL 1.0をDiffusersから使ってみました。Diffusers公式のチュートリアルに従って実行してみただけです。環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 --index-url https://downl…

ESP-WROOM-32 と PC を Bluetoothで接続してシリアル通信を無線化する

はじめに使用したのはこちらです。 ESPr® Branch 32(Groveコネクタ付き)www.switch-science.com ESP-WROOM-32に接続したモーターをPCから操作することに挑戦しました。 使用したモータードライバーはこちらです。 HbridgeS UNIT — スイッチサイエンス M5St…

【Diffusers】「from_single_file」がVAEにも使えるようになったので変換作業が不要になりました

最終更新日:2023年8月3日 左がデフォルト、右が専用VAEです。はじめにDiffusersで専用のVAEを使用するためには変換が必要でした。 touch-sp.hatenablog.com 新たに「from_single_file」がVAEにも使えるようになったのでその作業は不要になりました。使い方…

100週遅れくらいですが、いまさら ESP-WROOM-32 を触ってみました

はじめにもうすぐ Arduino Uno R4 Wifi が日本でも発売されます。今は技適承認待ちだと思います。そんな状況なのにWifi, Bluttoothを試してみたかったのでESP-WROOM-32に手を出しました。買ったのはこちらです。 ESPr® Branch 32(Groveコネクタ付き)www.sw…

【Diffusers】DiffusersからT2I-Adapterが使えるようになったのでBRA(Beautiful Realistic Asians) V6と組み合わせて使ってみました

from PIL import Image import numpy as np import torch from diffusers.utils import load_image from controlnet_aux import PidiNetDetector from diffusers import StableDiffusionAdapterPipeline, T2IAdapter from compel import Compel image = load…

【controlnet_aux】ControlNet auxiliary modelsを使う

github.com 今回使用したのは「controlnet-aux==0.0.7」です。 mediapipeも一緒にインストールする必要があります。 pip install controlnet-aux mediapipePythonスクリプト from diffusers.utils import load_image from controlnet_aux.processor import P…

MMDetectionでImage Captioningができるようになっていました

環境 Ubuntu 22.04 on WSL2 Python 3.10 CUDA 11.8pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install openmim==0.3.9 mim install mmcv==2.0.1 mim install mmdet[multimodal]==3.…

MMTrackingの開発が止まっていると思っていたらMMDetectionでMultiple Object Tracking(MOT)ができるようになっていました

はじめにタイトル通りです。今回はMMDetectionでMultiple Object Tracking(MOT)を実行するまでの手順を記録しておきます。環境 Ubuntu 22.04 on WSL2 Python 3.10 CUDA 11.8pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://d…

【ControlVideo】VRAM 18GBも使用するため動かせなかった動画生成モデルが RTX 4090 で動かせました

一番左が用意されたサンプル動画。 真ん中がサンプル動画から作成されたポーズ動画。 一番右がポーズ画像とテキスト(プロンプト)から作成された動画。 背景の一貫性、服装の一貫性はしっかり保たれている印象です。 512x512のサイズですが顔がはっきり描画…

【Diffusers】 Kandinskyというモデルが2.2にアップデートされてControlNetが使えるようになりました

最終更新日:2023年7月28日はじめに以前Kandinsky 2.1に関する記事を書きました。 touch-sp.hatenablog.com 今回は新しくなったKandinsky 2.2をControlNetと組み合わせて使ってみます。 「Text-to-Image」と「Image-to-Image」の両方で使えるようなので比較…

「Arduino Nano」と「M5Stack用RGB LEDユニット」を使ってサイコロの代わりになるものを作る

はじめに以前Arduino Nano Everyを使ってサイコロの代わりになるものを作りました。 touch-sp.hatenablog.com 今回は同じArduino Nano Everyに「Grove Shield for Arduino Nano」「M5Stack用RGB LEDユニット」「M5Stack用メカニカルキーボタンユニット」を組…

RTX 4090買いました。宝の持ち腐れです。

Palit製「GeForce RTX 4090 GameRock」 を買ってしまいました。 見て下さいこの価格の下落を! 自分には完全に宝の持ち腐れです。 それを使って何をするか?本当にそれが必要か?そんなことはどうでもいいです(笑)。 とりあえず最高のPC環境を作りたい。そ…

【Diffusers】BRA(Beautiful Realistic Asians) V6 が公開されたので ControlNet 1.1 と組み合わせて使ってみました

はじめにタイトル通りです。V6はこちらからダウンロードさせて頂きました。 V4、V5の記事はこちらです。 touch-sp.hatenablog.com touch-sp.hatenablog.com 結果 自分はV5の方が好みかもしれません。実行方法「cv2_canny.py」と「canny2image_torch2.py」を…

【Diffusers】Diffusers から OpenAI の Shap-E が使えるようになったのでさっそくテキストから3Dオブジェクトを生成してみました

最終更新日:2023年7月21日 はじめに「Shap-E」は以前にこちらの記事で扱いました。 touch-sp.hatenablog.com Diffuses 0.18.0からShap-Eがサポートされたようなのでさっそく使ってみました。Pythonスクリプトたったこれだけです。ずいぶん使いやすくなって…

Arduinoでメカニカルキーを使いたかったら「M5Stack用メカニカルキーボタンユニット」と「GROVE - ベースシールド」がお勧め。はんだ付けなしですぐに使えます。

GROVE - ベースシールド — スイッチサイエンス M5Stack用メカニカルキーボタンユニット — スイッチサイエンス 「Switch Science」から「GROVE - ベースシールド」を買うとすでにピンがはんだ付けされた状態になっているのですぐに使えます。 「M5Stack用メカ…

【DragGAN】【StyleGAN-Human】DragGANで自前の人物画像を使ってみました(PyTorch=2.0.1+cu117)

GAN

はじめに以前「PyTorch=1.12.1+cu116」を使ってやったことを「PyTorch=2.0.1+cu117」で実行することに成功しました。 touch-sp.hatenablog.com 環境 Ubuntu 22.04 on WSL2 CUDA 11.7.1 cuDNN 8.5.0 Python 3.10 torch==2.0.1+cu117Python環境構築 pip instal…

【zeroscope_v2_XL】【Diffusers】1024x576のビデオが作れるようになりました。ただしVRAMは15GB使用します。

はじめに「zeroscope_v2_XL」というモデルを使用すると低解像度のビデオを1024x576のサイズにアップスケーリング可能です。Pythonスクリプト import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler from diffusers.utils impo…

【C#】WSL2に外付けSSDをマウントするためのGUIを作りました

以前も外付けSSDをマウントするためのC#コードを書きました。 touch-sp.hatenablog.com 以前のC#コードではUSBのさす場所を変えたりするとうまく動かないことがありました。 今回GUIを使ってUSB接続されたストレージを選択可能にしました。 表示されるリスト…

FiioのKB1Kを買いました。圧倒的コストパフォーマンスです。何ができる?

はじめに公式ページはこちらになります。 KB1K – Fiio Japan 「FiiO」はオーディオ機器メーカーのようです。 今回購入した「KB1K」も元々は音楽を再生するためのキーパッドのようです。 ただ、ボタン設定がいろいろ変更できるのでいわゆるマクロパッド的に使…