2024-12-01から1ヶ月間の記事一覧
はじめに今回はGradioとTransformersを使って「Llama-3.2-11B-Vision-Instruct」を動かしてみました。使ったのは量子化されたこちらです。 huggingface.co 動作画面 結果 This image depicts two children sitting on the ground, gazing up at a shooting s…
関連記事こちらは「 Llama-3.1-Swallow-8B-Instruct-v0.2」を実行した時の記事です。 touch-sp.hatenablog.com Python環境 accelerate==1.3.0 gradio==5.12.0 torch==2.5.1+cu124 transformers==4.48.1Pythonスクリプト前回からの改善点として今回はGradioの…
はじめにVersion 0.9.0の記事はこちらです。 touch-sp.hatenablog.com 今回はVersion 0.9.1を使います。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch…
はじめに「enable_model_cpu_offload」と「enable_sequential_cpu_offload」はDiffusersにおけるVRAM使用量削減のための手段です。Intel Arcでは使えないと思っていたのですが「(device="xpu")」を付けると使えるようになりました。今回はstable-diffusion-3…
native PyTorch (torch==2.5.1+xpu) text_encoder: torch.xpu.max_memory_allocated: 9.32 GB transformer: torch.xpu.max_memory_allocated: 13.18 GB time: 378.92 secnative PyTorch (torch==2.6.0+xpu) text_encoder: torch.xpu.max_memory_allocated: 9…
はじめにPyTorchがIntel GPUに対応してもなかなかうまくいきませんでした。このようなエラーに悩まされました。 RuntimeError: Required aspect fp64 is not supported on the device 今回、Diffusersのコードをたった二行書き換えただけで動作可能になりま…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install gguf transformers protobuf sentenc…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install torchao transformers protobuf sent…
PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers …
はじめに使用したのはこちらです。 github.com NVIDIAが開発したものをIntel GPUで実行してみました。 DIffusersがそれを可能にしてくれています。PC環境 Ubuntu 24.04 Intel Arc A770 (VRAM 16GB) Python 3.12Python環境構築 pip install torch --index-url…
はじめに使用したのはこちらです。 github.com 今回はDiffusersを使って実行しました。PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) Python 3.12 CUDA 11.8Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/…
はじめに以前はIntel GPUでPyTorchを使う場合には「Intel Extension for PyTorch」を使う必要がありました。 touch-sp.hatenablog.com 最近PyTorchがIntel GPU をサポートし始めたようです。 pytorch.org PyTorchのインストール pip3 install torch torchvis…
はじめにVision＆Languageモデル（VLM）を使って写真の説明をしてもらいます。今回はGoogleが最近オープンソースとして公開してくれた「PaliGemma2」を使ってみました。「PaliGemma」の記事はこちらです。 touch-sp.hatenablog.com Python環境構築 pip insta…
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepi…
