はじめにこちらになります。 github.com Gradio画面Gradioから使ってみました。 Pythonスクリプト import torch from transformers import GenerationConfig, GPT2LMHeadModel, GPT2Tokenizer, LogitsProcessor, LogitsProcessorList from diffusers import …
もとのスクリプトtouch-sp.hatenablog.com こちらのスクリプトを使いました。 import torch from diffusers import StableCascadeDecoderPipeline, StableCascadePriorPipeline prior = StableCascadePriorPipeline.from_pretrained( "stabilityai/stable-ca…
はじめにここで紹介する方法は一応無料でできます。ただし、「InsigthFace」というモデルを使用しており、そちらのトレーニングデータは非営利の研究目的でのみ利用可能とのことですので注意して下さい。 以前同様のことをLoRA学習で行いました。 touch-sp.h…
はじめにこちらの拡張です。 touch-sp.hatenablog.com 「FacaID」が使えるようになったので3つ同時に使用してみました。命題この女性をイラスト化して下さい。 結果 左から 「Plus」と「Plus Face」の組み合わせ 「Plus」と「FaceID」の組み合わせ 「Plus」…
はじめに以前もoms-Diffusionの記事を書きました。 touch-sp.hatenablog.com 今回は新しいウエイトが公開されたので使用してみました。目的命題:『この顔の人物にこの服を着させて下さい』 用意したのはこの2枚の画像のみです。結果 以前より画質が良くなっ…
結果 芸術性高いように感じます(適当)。Pythonスクリプトたったこれだけ。 from diffusers import DiffusionPipeline import torch pipe = DiffusionPipeline.from_pretrained( "playgroundai/playground-v2.5-1024px-aesthetic", torch_dtype=torch.float…
はじめに前回もバーチャル試着の記事を書きました。 touch-sp.hatenablog.com 今回はこちらを使わせて頂きました。 github.com 前回使用した「OOTDiffusion」と開発者が一部重複しているので何かしらの関連はあるのでしょう。目的命題:『この顔の人物にこの…
はじめにバーチャル試着ができるという以下を使わせて頂きました。 github.com 非常にうまくいきます。 そのため、画像の捏造に利用されそうです。 悪用しないように気を付けて下さい。結果 背景の変更には以前紹介した「Matte-Anything」を使っています。 t…
はじめにこちらを使わせていただきました。 github.com 環境構築GitHubに書いてある通りにやりましたが、最初はなかなかうまくいきませんでした。ハマりポイントを挙げておきます。 opencv-python==4.5.3.56を指定されているのでPythonは3.9以下にする必要が…
huggingface.co Diffusersから簡単に使えます。 サンプルスクリプトをみるとSDXLのUnet部分を変更しているだけに見えます。Pythonスクリプト import torch from diffusers import StableDiffusionXLPipeline, UNet2DConditionModel, EulerDiscreteScheduler …
はじめに以下のようなメリットがあります。 2回目以降「ip_adapter_image_embeds」を計算しなくていいので生成速度があがります。 2回目以降「image_encoder」をロードする必要がなくなるのでVRAM消費を抑えられます。 Python環境構築 pip install torch==2.…
はじめにWeb上で使うならHuggingChatで使えます。 今回はモデルをダウンロードしてローカル環境で実行しました。結果英語を使いました。「Write a hello world program in c#」(C#でhello worldのプログラムを書いて)と聞いた時の答えです。 ```c# using S…
はじめに以前ControlNet と Inpaintを組み合わせて使用したことがあります。 touch-sp.hatenablog.com 今回はさらにIP-AdapterのFaceモデルを組み合わせて写真の顔を入れ替えてみます。 SD1.5を使って同じようなことをこちらでやっています。 touch-sp.haten…
結果 動画はGoogle Bloggerに載せています。 support-touchsp.blogspot.com 最大32フレームまで作れるようです。Pythonスクリプト import torch from diffusers import MotionAdapter, AnimateDiffPipeline, LCMScheduler from diffusers.utils import expor…
はじめに以前にmultiple IP-Adaptersを使ったことがあります。 touch-sp.hatenablog.com それと似たようなものですが、画像のどの部分にIP-Adapterを使用するかをmask画像で大まかに指定することが可能になりました。 github.com 結果用意した二人の顔写真 …
はじめにStability AIは以下のような画像生成AIを公開してきました。 「Stable Diffusion 1.x」→「Stable Diffusion 2.x」→「SDXL」→「SDXL Turbo」今回新たに「Stable Cascade」というモデルを公開しました。「SDXL」より高速かつ高品質に画像生成ができる…
github.com はじめに「MGIE」(Guiding Instruction-based Image Editing via Multimodal Large Language Models)はアップルとカリフォルニア大学サンタバーバラ校(UCSB)が共同で開発したマルチモーダル大規模言語モデルを基にしたAI画像編集ツールです。Gi…
huggingface.co はじめに最近いろいろと言語モデルをさわっています。いずれは自前データで学習なんかできたら良いなと思いますが、家庭用PCでそんなことできるのでしょうか?時間あるときに勉強してみようと思っています。ここから本題です。前回はモデルが…
github.com はじめに「I2VGenXL」は以前からあるモデルです。Diffusersが v0.26.0 にアップデートされて「I2VGenXL」が実装されました。入力画像は1280x720(16:9)の画像なので比較的大きい動画が作れます。 (しかし、なぜか作成された動画は1280x704にな…
huggingface.co はじめにパラメータ数が70億パラメータ(7B)、130億パラメータ(13B)、700億パラメータ(70B)の3モデルがあるようです。さらにそれぞれにbaseモデルとinstructモデルが存在します。instructモデルはチャットのように質問に対して答えを返…
huggingface.co はじめに以前BLIP, BLIP2を使った経験があります。 touch-sp.hatenablog.com touch-sp.hatenablog.com 「Japanese InstructBLIP Alpha」は名前から分かる通り日本語が使えます。 質問にも答えてくれました。用意した画像以前と同様、こちらの…
huggingface.co 用意した画像ぱくたそからこちらの画像を使わせて頂きました。 www.pakutaso.com 結果「Describe the person in the image」(画像の人物を説明して下さい)と投げかけた時の答えです。 The person in the image is a young woman wearing a …
前回に引き続きリクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使っていきます。 touch-sp.hatenablog.com 今回は日本語での画像検索に挑戦しました。 1年以上前にOpenAIのCLIPを使って同じことをした経験があります。 touch-sp.hatenablo…
1年以上前にOpenAIのCLIPを使ってゼロショット画像分類に挑戦した経験があります。 touch-sp.hatenablog.com 今回リクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使って日本語でゼロショット画像分類に挑戦しました。 huggingface.co 用意…
はじめにDiffusersからPIA(Personalized Image Animator)とFreeInitを使ってImage2Videoを行いました。一枚の画像から動画を作成しています。用意した画像 結果 Pythonスクリプトさまざまな組み合わせで実行しました。このスクリプトで一気に18通りの動画…
はじめに1枚の顔写真からアニメ風画像を作成することが目的です。前回PhotoMakerというものを使って同様のことをしました。 touch-sp.hatenablog.com 今回はmultiple IP-Adaptersを使ってみました。結果左の画像から右の画像を作成しました。よーく見ると、…
目的1枚の顔写真からディズニー風画像を作成することが目的です。結果ただのImage2imageではないです。左の画像から右の画像を作成しました。よーく見ると、なんとなく特徴を捉えているような気もします。 どうでしょう? Pythonスクリプト import torch fro…
結果 学習に使用した画像の一部を下に載せておきます。 この人物を再現しようとしたのが上記画像です。 再現できていると言えるでしょうか? はじめにLoRA自体は以前からある手法です。それにPivotal Tuningを組み合わせる方法が公開されたのはごく最近です…
はじめに「IP-Adapter-FaceID-PlusV2」を使うと1枚の顔写真からその人物の写真を何枚も作成することが可能になります。 touch-sp.hatenablog.com 現時点での弱点と思われるのは使える画像が一枚ということです。そのためか顔の再現性は完璧ではありません。 …
PC環境 Windows 11 CUDA 11.8 Python 3.11Python環境構築 pip install torch==2.1.2+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install git+https://github.com/huggingface/diffusers pip install accelerate transformers準備こちら…