2024-01-01から1年間の記事一覧
はじめに今回はGradioとTransformersを使って「Llama-3.2-11B-Vision-Instruct」を動かしてみました。使ったのは量子化されたこちらです。 huggingface.co 動作画面 結果 This image depicts two children sitting on the ground, gazing up at a shooting s…
関連記事こちらは「 Llama-3.1-Swallow-8B-Instruct-v0.2」を実行した時の記事です。 touch-sp.hatenablog.com Python環境 accelerate==1.3.0 gradio==5.12.0 torch==2.5.1+cu124 transformers==4.48.1Pythonスクリプト前回からの改善点として今回はGradioの…
はじめにVersion 0.9.0の記事はこちらです。 touch-sp.hatenablog.com 今回はVersion 0.9.1を使います。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch…
はじめに「enable_model_cpu_offload」と「enable_sequential_cpu_offload」はDiffusersにおけるVRAM使用量削減のための手段です。Intel Arcでは使えないと思っていたのですが「(device="xpu")」を付けると使えるようになりました。今回はstable-diffusion-3…
native PyTorch (torch==2.5.1+xpu) text_encoder: torch.xpu.max_memory_allocated: 9.32 GB transformer: torch.xpu.max_memory_allocated: 13.18 GB time: 378.92 secnative PyTorch (torch==2.6.0+xpu) text_encoder: torch.xpu.max_memory_allocated: 9…
はじめにPyTorchがIntel GPUに対応してもなかなかうまくいきませんでした。このようなエラーに悩まされました。 RuntimeError: Required aspect fp64 is not supported on the device 今回、Diffusersのコードをたった二行書き換えただけで動作可能になりま…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install gguf transformers protobuf sentenc…
PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install torchao transformers protobuf sent…
PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers …
はじめに使用したのはこちらです。 github.com NVIDIAが開発したものをIntel GPUで実行してみました。 DIffusersがそれを可能にしてくれています。PC環境 Ubuntu 24.04 Intel Arc A770 (VRAM 16GB) Python 3.12Python環境構築 pip install torch --index-url…
はじめに使用したのはこちらです。 github.com 今回はDiffusersを使って実行しました。PC環境 Windows 11 RTX 3080 Laptop (VRAM 16GB) Python 3.12 CUDA 11.8Python環境構築 pip install torch==2.5.1+cu118 --index-url https://download.pytorch.org/whl/…
はじめに以前はIntel GPUでPyTorchを使う場合には「Intel Extension for PyTorch」を使う必要がありました。 touch-sp.hatenablog.com 最近PyTorchがIntel GPU をサポートし始めたようです。 pytorch.org PyTorchのインストール pip3 install torch torchvis…
はじめにVision＆Languageモデル（VLM）を使って写真の説明をしてもらいます。今回はGoogleが最近オープンソースとして公開してくれた「PaliGemma2」を使ってみました。「PaliGemma」の記事はこちらです。 touch-sp.hatenablog.com Python環境構築 pip insta…
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepi…
はじめにGradio 5.0からチャットボットの作り方が大きく変わりました。 今回、実際に作ってみました。Pythonスクリプト import gradio as gr from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer from threading import Th…
はじめに前回の続きです。 touch-sp.hatenablog.com 動作可能な環境をいろいろさぐってみました。動作環境と環境構築Python 3.10 + CUDA 12.4 Windows 11 CUDA 12.4 Python 3.10pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 xformers --…
はじめに「Hallo2」は顔画像と音声ファイルからしゃべっている動画を作成するモデルです。「リップシンク」モデルと表現されることもあります。以前「SadTalker」というのを使ったことがあります。それと同じようなことができます。 touch-sp.hatenablog.com…
はじめにStable Diffusion 3.5 Mediumが公開されたのでVRAM使用量を調べるため色々な方法で実行してみました。 はじめに 使用したPC 実行 Method-1: to("cuda") Method-2: enable_model_cpu_offload() Method-3: enable_sequential_cpu_offload() Method-4: …
PC環境 Windows 11 CUDA 12.4 Python 3.12Python環境構築 pip install torch==2.5.1 --index-url https://download.pytorch.org/whl/cu124 pip install git+https://github.com/huggingface/diffusers pip install transformers accelerate sentencepiece im…
はじめにESPnetはテキストから音声を合成するモデルです。こちらを見て下さい。 touch-sp.hatenablog.com 今回はタイトルにあるように一番新しいESPnet v.202409を使う方法です。PC環境 Ubuntu 22.04 on WSL2 CUDA 12.4.1Python3.11のインストール sudo add-…
はじめに以前WSL2を使ってESPnetを使ったことがあります。 touch-sp.hatenablog.com 今回はWindows11で使ってみました。PC環境 Windows 11 CUDA 11.8 Python 3.10Python 3.11以降ではうまく環境構築できませんでした。Python環境構築 pip install torch==2.4…
huggingface.co Pythonスクリプト import torch from diffusers import FluxPipeline import gc def flush(): gc.collect() torch.cuda.empty_cache() model_id = "black-forest-labs/FLUX.1-dev" prompt="a photo of f5h8_woman holding a sign that says '…
PC環境こちらのPCを使用しています。 Windows 11 RTX 3080 Laptop (VRAM 16GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.4.1+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install diffusers[torch] pip install transf…
はじめに前回のスクリプトを拡張してもらいました。 touch-sp.hatenablog.com 録音すれば、録音した順にどんどん勝手に文字起こししてくれるようにしました。Claude 3.5 Sonnetとのやりとり2回のやり取りで終わりました。 1回目に出力されたスクリプトはうま…
はじめにReazonSpeechを使うためにC#でGUIを作ったり、Gradioを使ったりしました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回はPySide6を使ってみました。PC環境 Windows 11 Python 3.11 CUDA 11.8Python環境構築 pip install torch==2.5.0+cu1…
はじめに前回ReazonSpeechを使うためのGUIをC#で作りました。 touch-sp.hatenablog.com 今回はGradioを使いPythonだけで完結させようと思います。PC環境 Windows 11 Python 3.11 CUDA 11.8Python環境構築ReazonSpeechと最新のGradioは共存できませんでした。…
はじめに前回の続きです。 touch-sp.hatenablog.com 今回はGUIを作りました。環境 Windows 11 .NET framework 4.8 Newtonsoft.Json 13.0.3 (from NuGet)C#コードまずはボタンとテキストボックスがセットになったユーザーコントロールを作りました。 using Sy…
はじめに以前も同様のことをしました。 touch-sp.hatenablog.com 1年半ぶりに再チャレンジしました。 だいぶ使い方が変わっていました。使用したモデルモデルの比較はこちらです。（公式ページから転載） これを見て「ReazonSpeech NeMo」を使うことにしまし…
はじめにVS Code を使って C# と .NET（.NET Frameworkではない）の組み合わせで Windows Formアプリを作成する手順です。最終的には単一実行ファイル（1ファイルのみで実行可能なexeファイル）を作成しました。バージョン > dotnet --version 8.0.400プロジ…
はじめに以前「Text2Video」を行いました。 touch-sp.hatenablog.com 今回は「Image2Video」を行いました。PC環境 Windows 11 RTX 4090 (VRAM 24GB) CUDA 11.8 Python 3.12Python環境構築 pip install torch==2.4.1+cu118 --index-url https://download.pyto…
