【xFormers】DiffusersでDreamBoothを試す(VRAM 12GBでDreamBoothの実行は可能か?)

はじめに 環境構築 設定 text encoderのファインチューニングなし text encoderのファインチューニングあり 現時点での結論 関連記事 はじめに長らくDiffusersのDreamBoothでxFormersがうまく機能しない時期がありました。「xformers==0.0.17.dev441」が公開…

【Tune-A-Video】数枚の写真からショート動画が作れる時代になりました

はじめに「Tune-A-Video」というのを使ってショート動画を作りました。 github.com やったこと用意した写真 このようなロボットの写真を数枚用意しました。結果上記のロボットがサーフィンしているショート動画を作成しました。 最初の結果(とりあえず動作…

【Diffusers】DreamBoothとLoRA(Low-Rank Adaptation)って共存できるの?

はじめに前回DreamBoothとLoRA(Low-Rank Adaptation)を別々に実行しました。 touch-sp.hatenablog.com 現在、Diffusersではtext encoderのファインチューニングができるLoRAは実装されていません。 github.com そこでDreamBoothでtext encoderのファインチュ…

【Diffusers】DreamBoothとLoRA(Low-Rank Adaptation)の比較(Stable Diffusion v1.4のファインチューニング)

Diffusersを使ってDreamBoothとLoRA(Low-Rank Adaptation)の二つの方法でStable Diffusion v1.4をファインチューニングしました。比較のため二つの結果を残しておきます。

【DeepSpeed】DiffusersでDreamBoothを試す(DeepSpeedでどこまでVRAM消費を減らせるか)

はじめに 環境構築 実験と結果 text encoderのファインチューニングなし no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpoin…

【Diffusers】Instruct-Pix2Pixを使ってみる(Paint-by-ExampleやInpaintingとの比較)

はじめに 結果 比較 Pythonスクリプト Instruct-Pix2Pix Paint-by-Example Stable-Diffusion-2-Inpainting 関連記事 はじめに最近公開された「Instruct-Pix2Pix」をDiffusersから使ってみました。 huggingface.co 結果ベンチに座る犬を猫に変換してみました…

DiffusersでDreamBoothを試してみる(Stable Diffusion v1.4のファインチューニング)

はじめに 環境構築 PC環境 Python環境の構築 Pythonスクリプトのダウンロード 設定 prior-preservation lossなし no use_8bit_adam no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkp…

DiffusersでLoRA(Low-Rank Adaptation)を試してみる(Stable Diffusion v1.4のファインチューニング)

DiffusersでLoRA(Low-Rank Adaptation of Large Language Models)を動かしてみました。使用したのはRTX 3080 VRAM 12GBです。

DiffusersでTextual Inversionを試してみる(Stable Diffusion v1.4のファインチューニング)

はじめに 環境構築 PC環境 Python環境の構築 事前準備 Stable Diffusion v1.4のダウンロード Pythonスクリプトのダウンロード 使用する画像のダウンロード 実行 学習 推論 公式チュートリアル 参考にさせて頂いたサイト その他 追記 はじめにTextual Inversi…

【Counterfeit-V2.0】いらすとやの画像を加工してみる part 2-4

はじめにいろいろなモデルで画像加工を行っています。注目点はペンを持つ右手の指の描写です。今回はCounterfeit-V2.0というのを使わせて頂きました。strengthを0.9と高く設定しても元画像の印象を残す傾向にあるように感じました。今回の結果(Counterfeit-…

【超簡単】MMTrackingとYOLOv8を使って物体検出モデルの学習を教師データ作成含めてサクッと行う

公開日:2023年1月14日 最終更新日:2023年1月29日 はじめに 方法の概略 実行 Clone サンプル動画のダウンロード 学習データ作成、学習 推論 画像 Webカメラ 環境構築 使用させて頂いたツール その他 はじめにYOLOv8が公開されました。開発元はYOLOv5と同じU…

【Anything V3】いらすとやの画像を加工してみる part 2-3

今回の結果(Anything V3) 前々回(waifu diffusion v1.4)の結果 記事はこちらです。前回の結果(dreamlike-photoreal-2.0) 記事はこちらです。追記2023年1月末に再アップロードされて全体的に暗い画像になる問題が改善しています。 [:256]