画像生成

【Diffusers】プロンプト拡張機能が紹介されていたので使ってみました。

はじめにこちらになります。 github.com Gradio画面Gradioから使ってみました。 Pythonスクリプト import torch from transformers import GenerationConfig, GPT2LMHeadModel, GPT2Tokenizer, LogitsProcessor, LogitsProcessorList from diffusers import …

顔を統一してAIインフルエンサーを作るっていうのが流行っているみたいです。それってIP-Adapter使えばできるよね。

はじめにここで紹介する方法は一応無料でできます。ただし、「InsigthFace」というモデルを使用しており、そちらのトレーニングデータは非営利の研究目的でのみ利用可能とのことですので注意して下さい。 以前同様のことをLoRA学習で行いました。 touch-sp.h…

【oms-Diffusion】768のサイズで学習されたウエイトが公開されたのでそれを使って顔写真と服の画像からバーチャル試着

はじめに以前もoms-Diffusionの記事を書きました。 touch-sp.hatenablog.com 今回は新しいウエイトが公開されたので使用してみました。目的命題:『この顔の人物にこの服を着させて下さい』 用意したのはこの2枚の画像のみです。結果 以前より画質が良くなっ…

Diffusers から芸術性の高い画像が作成できると噂の Playground v2.5 を使ってみる

結果 芸術性高いように感じます(適当)。Pythonスクリプトたったこれだけ。 from diffusers import DiffusionPipeline import torch pipe = DiffusionPipeline.from_pretrained( "playgroundai/playground-v2.5-1024px-aesthetic", torch_dtype=torch.float…

ByteDance が公開した SDXL-Lightning を使ってみる

huggingface.co Diffusersから簡単に使えます。 サンプルスクリプトをみるとSDXLのUnet部分を変更しているだけに見えます。Pythonスクリプト import torch from diffusers import StableDiffusionXLPipeline, UNet2DConditionModel, EulerDiscreteScheduler …

【悪用厳禁】IP-Adapter と ControlNet と Inpaint を組み合わせて顔を入れ替える

はじめに以前ControlNet と Inpaintを組み合わせて使用したことがあります。 touch-sp.hatenablog.com 今回はさらにIP-AdapterのFaceモデルを組み合わせて写真の顔を入れ替えてみます。 SD1.5を使って同じようなことをこちらでやっています。 touch-sp.haten…

【Diffusers】IP-Adapter attention maskingで遊んでみた

はじめに以前にmultiple IP-Adaptersを使ったことがあります。 touch-sp.hatenablog.com それと似たようなものですが、画像のどの部分にIP-Adapterを使用するかをmask画像で大まかに指定することが可能になりました。 github.com 結果用意した二人の顔写真 …

Stability AI が新たに公開した「Stable Cascade」を簡単にローカル環境で試す方法

はじめにStability AIは以下のような画像生成AIを公開してきました。 「Stable Diffusion 1.x」→「Stable Diffusion 2.x」→「SDXL」→「SDXL Turbo」今回新たに「Stable Cascade」というモデルを公開しました。「SDXL」より高速かつ高品質に画像生成ができる…

アップルが米大学と共同で発表したAI画像編集ツール「MGIE」をローカル環境で実行してみた

github.com はじめに「MGIE」(Guiding Instruction-based Image Editing via Multimodal Large Language Models)はアップルとカリフォルニア大学サンタバーバラ校(UCSB)が共同で開発したマルチモーダル大規模言語モデルを基にしたAI画像編集ツールです。Gi…

【Diffusers】multiple IP-Adapters で遊んでみた

はじめに1枚の顔写真からアニメ風画像を作成することが目的です。前回PhotoMakerというものを使って同様のことをしました。 touch-sp.hatenablog.com 今回はmultiple IP-Adaptersを使ってみました。結果左の画像から右の画像を作成しました。よーく見ると、…

PhotoMaker と modernDisneyXL で遊んでみた

目的1枚の顔写真からディズニー風画像を作成することが目的です。結果ただのImage2imageではないです。左の画像から右の画像を作成しました。よーく見ると、なんとなく特徴を捉えているような気もします。 どうでしょう? Pythonスクリプト import torch fro…

【Face LoRA(顔LoRA)】LoRAにPivotal Tuningを組み合わせて特定の顔を学習させてみました。

結果 学習に使用した画像の一部を下に載せておきます。 この人物を再現しようとしたのが上記画像です。 再現できていると言えるでしょうか? はじめにLoRA自体は以前からある手法です。それにPivotal Tuningを組み合わせる方法が公開されたのはごく最近です…

IP-Adapter-FaceID-PlusV2 で同一人物の写真が何枚も作れるのでLoRA学習用データをつくってみました。

はじめに「IP-Adapter-FaceID-PlusV2」を使うと1枚の顔写真からその人物の写真を何枚も作成することが可能になります。 touch-sp.hatenablog.com 現時点での弱点と思われるのは使える画像が一枚ということです。そのためか顔の再現性は完璧ではありません。 …

【IP-Adapter】SDXL用の IP-Adapter-FaceID-PlusV2 が公開されたので以前のモデルと比較してみました。

はじめについ先日、SDXL用のIP-Adapter-FaceIDを紹介したばかりです。 touch-sp.hatenablog.com にもかかわらず新たにIP-Adapter-FaceID-PlusV2が公開されました。 驚くべき開発スピードです。 さっそく使ってみて以前のモデルと比較してみました。目的1枚の…

【PhotoMaker】人物写真をカスタマイズできる PhotoMaker を使ってみました。

github.com はじめに「PhotoMaker」をつかえば色々人物写真をカスタマイズできるようですが、今回は1枚の写真から同一人物の写真を作成してみます。以前「IP-Adapter」を使って同様のことをしています。 touch-sp.hatenablog.com touch-sp.hatenablog.com 用…

【Diffusers】Diffusers から IP-Adapter FaceID が使えるようになりました。

はじめにタイトルにある通りです。Diffusersから直接使う場合、環境構築が非常に楽になります。「FaceID-Plus」と「FaceID-PlusV2」はまだ使えないようです。PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index…

【Diffusers】【Inpaint】StableDiffusionInpaintPipeline と MaskedStableDiffusionImg2ImgPipeline の違いを比較してみました。

はじめにInpaintは画像の一部修正をすることです。Inpaint専用モデルもありますが、今回は通常のText2Imageモデルを使用してInpaintを行います。「yabalMixTrue25D_v5」というモデルを使用しました。使い方が2通りあるので、両方を実行して比較してみました…

【IP-Adapter】IP-Adapter と Inpaintモデルを組み合わせれば写真に写る人物の顔を好みの顔に変えられる?

この写真に写る女性の顔をこの顔に変えられるかどうか試してみました。 実行するにあたりこのようなマスク画像を用意しました。 結果Diffusersを使って実行しています。 DiffusersではFaceIDがまだ使えないのでそれ以前のIP-Adapterで試してます。ip-adapter…

Diffusersでは「DPM++2M SDE Karras」がうまく機能していなかったらしい

2024年2月1日追記この問題はDiffusers v0.26.0以降修正されています。はじめにタイトルにある通りです。たしかにノイズが多いなとの印象はありましたが、そんなもんだと思っていました。その都度GFPGANやRefinerを使ってノイズ除去を行ってきました。一時的…

【IP-Adapter】IP-Adapter-FaceID-PlusV2 が公開されていたのでさっそく使ってみました。

はじめにIP-Adapterの進化が止まりません。「FaceID」→「FaceID-Plus」→「FaceID-PlusV2」とどんどん進化しています。今回は今現在最新の「FaceID-PlusV2」を使ってみます。目的顔写真1枚からその人物の複数の画像を作成することです。PC環境 Windows 11 CUD…

【Diffusers】Stable Diffusion XL Long Weighted Prompt Pipelineで clip skip と FreeU が使えるようになったとのことなのでさっそく使ってみました。

はじめに「Long Weighted Prompt Pipeline」はプロンプトの重み付けをする時にA1111のスタイルが使え、かつ長いプロンプトが使用できるようになるパイプラインです。Diffusersではそういった用途にcompelというライブラリを使用するのですが、はっきり言って…

「fuduki_mix v2.0」が公開されています。過去のモデルと比較してみました。

結果左から v1.0 → v1.5 → v2.0 です。 今回使用したプロンプトでは、キリっとしたかっこいい女性から綺麗な女性に変わってきている気がします。Pythonスクリプトプロンプトはこちらからそのまま使わせてもらいました。 from diffusers import DiffusionPipe…

【Diffusers】SDE Drag Pipeline の紹介。女性の髪を伸ばしてみました。

はじめに以前「DragGAN」について記事を書きました。 touch-sp.hatenablog.com 「DragGAN」はGAN(敵対的生成ネットワーク)を使っています。 今回紹介する「SDE Drag」は拡散モデルを使ったものになります。目的以下の女性の髪を伸ばしてみます。 この女性…

「haduki_mix v1.6 typeK」というモデルが公開されています。過去のモデルと比較してみました。

疑問「typeK」とはどういう意味なのでしょうか?結果左から v1.0 → v1.5 → v1.6 typeK です。 Pythonスクリプトプロンプトはこちらからそのまま使わせてもらいました。 from diffusers import StableDiffusionXLPipeline, DPMSolverMultistepScheduler impor…

【 SDXL-Turbo 】num_inference_steps=1 で画像が生成できてしまう SDXL-Turbo を紹介します

はじめにLCM-RoLAが短い時間で画像が生成できると話題になっていますが、それを上回るかもしれない SDXL-Turbo というのが Stable Diffusion を開発している Stability AI から公開されました。試しに使ってみました。また、LCM-LoRA と比較してみました。Py…

nagatsuki_mix v2.0 が公開されていたので使ってみました。

はじめにnagatsuki_mix v1.0については以下を見て下さい。 touch-sp.hatenablog.com 今回はnagatsuki_mixのv1.0とv2.0の比較、nagatsuki_mix v2.0とLCM-LoRAの相性についてみてみました。v1.0とv2.0の比較左がv1.0、右がv2.0です。 nagatsuki_mix v2.0とLCM-…

Diffusers から IP-Adapter が使えるようになったのでさっそく試してみました

はじめにIP-Adapterに関してはこちらを参照して下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 環境必要とするのはこれだけです。(PyTorchは自分の環境に合わせて変更して下さい) pip install torch==2.1.1+cu121 torchvision==0.16.1+cu121 -…

DiffBIR (Towards Blind Image Restoration with Generative Diffusion Prior) で画像復元

github.com はじめにDiffBIRはImage Restoration(画像復元)のためのモデルです。画像復元とSuper Resolution(超解像)との違いはよくわかっていません。どちらも低解像度の画像を綺麗にする手法です。結果最初に結果を示します。 左の画像から右の画像が…

【IP-Adapter】IP-Adapter-Face がアップデートされたのでさっそく使ってみました。

github.com はじめに今回の目的は顔写真1枚からその人物の複数の画像を作成することです。環境 Windows 11 CUDA 11.7 Python 3.11pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip ins…

少ないstep数で画像生成を可能にする Latent Consistency Model (LCM) を Diffusers から使う

github.com 環境 Windows 11 CUDA 11.7 Python 3.10pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers[torch] pip install transformersモデルのダウンロードあらかじめ…