画像生成
結果 左が元画像、右が作成画像です。 今回の結果 FLUX.1 Kontext [dev]の結果 こちらの記事を見て下さい。 Pythonスクリプト import torch from diffusers import QwenImageEditPipeline from diffusers.utils import load_image from diffusers.quantizers…
はじめにFLUX.1 Kontextはテキスト指示で画像を編集することができるFlux.1の派生モデルです。 huggingface.co 結果左が元画像、右がテキスト指示で編集した画像（今回作成した画像）です。 プロンプトは以下の通りです。 Make the lady hold a sign that sa…
環境構築 pip install torch==2.7.1+cu126 --index-url https://download.pytorch.org/whl/cu126 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate pip install sentencepieceaccelerate==1.7.0 diffusers @ …
はじめにDiffusersにHiDreamというText2Imageモデルが追加されたのでさっそく試してみました。使用したPCVRAM使用量が多いようです。RTX 4090を使用しました。 OS Windows 11 プロセッサ Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VRAM 24GB)環境…
元画像2枚の顔写真を用意しました。いずれも画像生成AIで作成したのもです。 結果（生成画像） 参考記事過去に記事にした方法を組み合わせて作成しました。 touch-sp.hatenablog.com touch-sp.hatenablog.com ランキング参加中プログラミング
はじめに同じようなことができるモデルは数多くあります。今回はOmniGenを使ってみました。元画像 Flux.1-devを使って作成した画像です。作り方は記事の最後に載せておきます。結果英語の細かいニュアンスがよくわからのでいくつかのプロンプトで試してみま…
はじめに以前にも「OOTDiffusion」や「Magic Clothing」というモデルを使ってバーチャル試着を試したことがあります。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回はOmniGenを使ってみます。目的命題：『この顔の人物にこの服を着させて下さい』 …
はじめに比較的新しいCogView4-6Bという画像生成モデルでText2Imageをやってみました。使用したPC プロセッサ Intel(R) Core(TM) i7-12700H 実装 RAM 32.0 GB GPU RTX 3080 Laptop (VRAM 16GB) 結果冒頭の画像が作成されました。プロンプト A vibrant cherry…
元画像FLUX.1-devで2枚の画像を作成しました。 結果それぞれの画像から人物を抽出して新たな画像を生成しました。 素晴らしい結果でした。 なかなかこれができるモデルは他にありません。はじめにOmniGenはいろいろなことができるモデルです。 過去に2本の記…
はじめにOmniGenはいろいろなことができるモデルです。前回の記事はこちらです。 touch-sp.hatenablog.com 今回は姿勢を維持して新たな画像を生成してみます。 ControlNetに近いですがポーズ画像を生成することなく直接あらたな画像を作成できます。元画像 …
はじめにOmniGenというモデルは画像編集だけでなくほかにもいろいろできます。 今回は画像編集を行ってみます。他の機能はおいおい記事にしたいと思っています。以前、Apple社が公開した「MGIE」というのを使ったことがあります。 touch-sp.hatenablog.com …
はじめに「to("cuda")」「enable_model_cpu_offload()」「enable_sequential_cpu_offload()」「enable_vae_slicing()」「enable_vae_tiling()」をいろいろ組み合わせてLumina Image 2.0を実行しました。使用したPC プロセッサ Intel(R) Core(TM) i7-12700H …
はじめにFLUX.1-devでIP-Adapterが使えるということでさっそく使ってみました。自身の環境でどの方法が最適かを探るためにいろいろな方法で実行しています。今回8bit量子化、4bit量子化は行っていません。使用したPC プロセッサ Intel(R) Core(TM) i7-12700H…
はじめにhuggingface.co DDUFファイルとは（公式ページから引用） DDUF (Diffusion Unified Format) is a file format designed to make storing, distributing, and using diffusion models much easier. Built on the ZIP file format, DDUF offers a stan…
はじめに「enable_model_cpu_offload」と「enable_sequential_cpu_offload」はDiffusersにおけるVRAM使用量削減のための手段です。Intel Arcでは使えないと思っていたのですが「(device="xpu")」を付けると使えるようになりました。今回はstable-diffusion-3…
はじめにPyTorchがIntel GPUに対応してもなかなかうまくいきませんでした。このようなエラーに悩まされました。 RuntimeError: Required aspect fp64 is not supported on the device 今回、Diffusersのコードをたった二行書き換えただけで動作可能になりま…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install gguf transformers protobuf sentenc…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install torchao transformers protobuf sent…
はじめに使用したのはこちらです。 github.com NVIDIAが開発したものをIntel GPUで実行してみました。 DIffusersがそれを可能にしてくれています。PC環境 Ubuntu 24.04 Intel Arc A770 (VRAM 16GB) Python 3.12Python環境構築 pip install torch --index-url…
はじめに使用したのはこちらです。 github.com 今回はDiffusersを使って実行しました。PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) Python 3.12 CUDA 11.8Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/…
はじめにStable Diffusion 3.5 Mediumが公開されたのでVRAM使用量を調べるため色々な方法で実行してみました。 はじめに 使用したPC 実行 Method-1: to("cuda") Method-2: enable_model_cpu_offload() Method-3: enable_sequential_cpu_offload() Method-4: …
huggingface.co Pythonスクリプト import torch from diffusers import FluxPipeline import gc def flush(): gc.collect() torch.cuda.empty_cache() model_id = "black-forest-labs/FLUX.1-dev" prompt="a photo of f5h8_woman holding a sign that says '…
PC環境こちらのPCを使用しています。 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.4.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install transf…
はじめにFLUX.1-devに特定の人物を学習させることが目的です。PC環境 Windows 11 CUDA 11.8 Python 3.12元画像用意したのは1枚の画像です。 SDLX派生モデルで作成したものです。 この人物を学習させます。 最終結果 a photo of f5h8_woman holding a sign th…
はじめに前回量子化について調べてみました。 touch-sp.hatenablog.com 今回、生成過程を分割することで「VRAM 12GB以内」かつ「高速」に動かすことができました。結果RTX 4090 (VRAM 24GB)で測定しています。 torch.cuda.max_memory_allocated: 6.58 GB tor…
RTX 4090 (VRAM 24GB)で検証しています。transformerのみを量子化 GPU 0 - Used memory: 10.61/23.99 GB time: 99.07 sectext_encoder_2のみを量子化 GPU 0 - Used memory: 9.32/23.99 GB time: 184.73 sec両方を量子化 GPU 0 - Used memory: 15.14/23.99 GB…
元画像ぱくたそからこちらの画像を使わせて頂きました。 www.pakutaso.com 使用したモデルCIVITAIから「xeBlenderFlux_01.safetensors」をダウンロードして使わせて頂きました。こちらと同じ方法でいったんDiffusersフォーマットに変換しました。 touch-sp.h…
はじめに量子化を駆使して画像生成時間の短縮にトライしました。トランスフォーマーとテキストエンコーダー2を4bitに変換しました。もちろん画質は悪くなっていると思われます。結果RTX 4090を使っています。VRAMは15GB程度使用していました。16GBのVRAMがあ…
結果プロンプト A photorealistic portrait of a young Japanese woman with long black hair and natural makeup, wearing a casual white blouse, sitting in a modern Tokyo cafe with soft window light 時間 time: 122.74secRTX 4090で計測しています。…
はじめにFLUX.1-dev で ControlNet が使えるようになったのでさっそく使ってみました。VRAM使用量を16GB以下に抑えるために「optimum-quanto」を使いました。最終的には1024x1024の画像生成がVRAM 16GB以下で可能になりました。Python環境構築 pip install t…
