【Diffusers】Perturbed-Attention Guidance(PAG)とControlNetを組み合わせてみる

はじめにPerturbed-Attention Guidance(PAG)についてはこちらを見て下さい。 touch-sp.hatenablog.com 今回はぼやけた写真を修復する「SDXL_Controlnet_Tile_Realistic」と組み合わせてみます。用意した写真 結果 左上:PAGなし 右上:pag_applied_layers=["…

【Intel Arc A770】【Diffusers】IPEX-LLM を使えば StableDiffusion による Text2Image が簡単にできました

Python環境構築 pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/ pip install diffusers[torch] pip install transformers peftPythonスクリプト「torch.float16」でなく「to…

【Diffusers】Perturbed-Attention Guidance(PAG)とIP-Adapterを組み合わせてみる

はじめにPerturbed-Attention Guidance(PAG)についてはこちらを見て下さい。 touch-sp.hatenablog.com 今回こちらのmultiple IP-AdapterとPAGを組み合わせてみました。 touch-sp.hatenablog.com 結果「Plus」と「Plus Face」の組み合わせ 「Plus」と「FaceID…

Intel Arcを搭載したUbuntu 22.04にIntel GPU ドライバーをインストールする際のエラーとその対処法

はじめにIntel GPU ドライバーをインストールしようとすると何度もエラーに遭遇しました。以前できたことが出来なくなっていたりということも多々あります。遭遇したエラーとその対処法を記録として残しておきます。エラー1 The following packages have un…

【Intel Arc A770】IPEX-LLMでOllamaを実行する環境を新規に構築したら以前と比較して処理速度が向上していました。

はじめにIPEX-LLM側の改善とOllama側の改善のどちらが影響しているのかわかりませんが処理速度は確かに向上しているようです。古い環境を使っているなら新しくした方が良いと思います。環境構築の方法と以前のベンチマーク結果はこちらです。 touch-sp.haten…

【Diffusers】Perturbed-Attention Guidance(PAG)を使ってみる

はじめに「Perturbed-Attention Guidance」というのが新しく紹介されていたので久しぶりに画像生成をやってみました。「Perturbed-Attention Guidance」とは?公式の紹介をDeepLで翻訳したものをのせておきます。 Perturbed-Attention Guidance (PAG)は、新…

Googleが公開している「gemma-2-9b-it」をGradioを使ってローカルで使用する

はじめに前回「CyberAgentLM3-22B-Chat」や「Llama-3-ELYZA-JP-8B」で同じことをしました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「gemma-2-9b-it」です。 小規模でかつ日本語特化モデルでないにもかかわらず日本語性能は高い印象です。…

ELYZAが公開している「Llama-3-ELYZA-JP-8B」をGradioを使ってローカルで使用する

はじめに前回「CyberAgentLM3-22B-Chat」で同じことをしました。 touch-sp.hatenablog.com 今回は「Llama-3-ELYZA-JP-8B」です。 ELYZAの「Llama-3-ELYZA-JP-70B」はGPT-4を上回る日本語性能と言われています。 今回使用したのはそれよりもはるかに小規模な…

サイバーエージェントが公開している「CyberAgentLM3-22B-Chat」をGradioを使ってローカルで使用する

PC環境 Ubuntu 24.04 on WSL2 (Windows 11) CUDA 12.1 Python 3.12Python環境構築 pip install torch==2.3.1+cu121 --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate bitsandbytes gradioモデルの量子化4bit量子化…

oneAPI Base Toolkit (version 2024.2.0)が公開されたのでOllama実行速度に変化があるかどうか試してみました

前回同様、SYCL backendでOllamaを実行した時のベンチマークを取ってみました。 touch-sp.hatenablog.com 結果phi3:3.8b (model size: 2.4GB)version 2024.1.0 tokens per second: 37.73 tokens/second version 2024.2.0 tokens per second: 37.31 tokens/se…

【Excel VBA】CohereForAI/c4ai-command-r-plusを使って日本語指示でユーザーフォームにボタンを配置する②

はじめに前回の拡張です。 touch-sp.hatenablog.com テキストボックス、ラベルも使えるように拡張してみました。プロンプト ユーザーフォームを2行3列に分割し1行目にラベル、ボタン、ボタン、2行目にテキストボックス、テキストボックス、ボタンを並べたい…

【Excel VBA】HuggingChatからCohereForAI/c4ai-command-r-plusを使って日本語指示でユーザーフォームにボタンを配置する

はじめに以前PySide6を使って同様のことをしました。 touch-sp.hatenablog.com 今度はVBAでチャレンジしました。システムプロンプトシステムプロンプトに例を記述しておきます。 以下はVBAでユーザーフォームにボタンを6個(縦3行、横2列)追加するためのサ…

Stable Diffusion 3 Medium が Diffusers から使えるようになったのでさっそく使ってみました。

はじめにStable Diffusion 3がDiffusersから使えるようになったので、久しぶりに画像生成してみました。PC環境使用したのはこちらのPCです。 Windows 11 CUDA 11.8 (RTX 3080 Laptop VRAM 16GB) Python 3.12Python環境構築 pip install torch==2.3.1+cu118 -…

【Intel Arc A770】IPEX-LLMを使わずにSYCL backendでOllamaを実行した時のベンチマーク

はじめにIPEX-LLMを使わずにSYCL backendでOllamaを実行することに成功しました。IPEX-LLMを使った時と速度比較してみました。ベンチマーク測定方法前回同様に行いました。 touch-sp.hatenablog.com 結果phi3:3.8b (model size: 2.4GB)with IPEX-LLM tokens …

【Intel Arc A770】IPEX-LLMを使ってOllamaを実行した時のベンチマーク

はじめに前回Ubuntu 22.04にIPEX-LLMをインストールしてOllamaを実行しました。 touch-sp.hatenablog.com 今回いろいろなモデルでベンチマークを取りました。ベンチマーク測定方法別のPC(Windows PC)のPythonからAPI連携してベンチマークを取りました。Pyt…

【Intel Arc A770】IPEX-LLMを使ってIntel製GPUでOllamaを実行する。

はじめにIntel製GPUでOllamaを実行してみました。Ubuntu 22.04を使っています。SYCLを使って直接実行したかったのですができなかったので、IPEX-LLMを使用しました。GPUドライバのインストールこちらの通りにやりました。 実際に実行したのは以下の3つです。…

【Intel Arc A770】使っていないPCを大規模言語モデル(LLM)サーバーとして働かせることに成功しました

はじめにタイトルにあるとおり自宅内LLMサーバーを立ち上げることに成功しました。サーバー側のPC使っていないPCに「Intel Arc A770」をのせました。 Ubuntu 22.04 Core i7 11700 RAM 64GB Intel Arc A770メインPC普段使っているPCです。 おそらくこちらは低…

Intel製グラフィックボードで大規模言語モデルを動かす【Llama.cpp + SYCL】

はじめにSYCLを使ってllama.cppを動かす手順になります。 おまけとしてChatUIも使ってみました。OSはUbuntu 22.04です。下準備GPUドライバとoneAPI Base Toolkitのインストールに関しては別記事を書きましたのでそちらを見て下さい。 touch-sp.hatenablog.co…

Intel製グラフィックボードで大規模言語モデルを動かしたい②【準備編】

はじめにUbuntu 22.04でIntel Arc A770を動かすための準備です。備忘録としてなるべく再現可能なように記録しておきます。Resizable BARを有効にするこちらにこのように書かれています。 Resizable BAR (or Smart Access Memory) must be enabled for optima…

【Continue】【Ollama】VSCodeでのコード補完に使えるモデル

以前「deepseek-coder:6.7b-base」を使った記事を書きました。 touch-sp.hatenablog.com どのモデルが使用可能かよくわかりませんが「codegemma:7b-code-q4_K_M」(5.3GB) を試したら問題なく使えました。 Ollama公式サイトのモデル紹介にこのように書かれて…

Intel製グラフィックボードで大規模言語モデルを動かしたい

はじめに自分が調べた内容を書き留めただけの記事です。本文touch-sp.hatenablog.com Intel製グラフィックボードを購入したので最近色々調べています。 目標は、そのグラフィックボードを使って大規模言語モデルを実行することです。 調べていくと「〇〇 bac…

「Ollama」と「Python」をAPI連携してみる

Ollama上で実行しているPhi-3 miniにPythonから「なぜ空は青いのか」と聞いてみます。Pythonスクリプト import requests import json def post_request(): url = "http://localhost:11434/api/generate" data = { "model": "phi3:latest", "prompt": "Why is…

Intel製グラフィックボード「Intel Arc A770」を買いました

家に使っていないPCがあります。OSはUbuntu 22.04が入っています。 今までは使い道がなかったのですが、新たに使い道を見つけました。 touch-sp.hatenablog.com そう、LLM(大規模言語モデル)を動かしてもらおうという魂胆です。 しかし搭載しているグラフ…

「WSL2上で動いてるDify」と「Windows上のPython」とをAPI連携してみる

Pythonスクリプト import requests import json def post_request(api_key): url = "http://localhost/v1/chat-messages" headers = { "Authorization": f"Bearer {api_key}", "Content-Type": "application/json", } data = json.dumps({ "inputs": {}, "qu…

Ubuntuで実行しているOllamaに別のWindows PC(WSL2使用)からアクセスする方法

はじめに1台の使用していないPC(Ubuntu PC)でOllamaを実行してサーバーとして動かしてみました。別のWindows PCでWSL上のUbuntuにDifyをインストールして、他のPC(Ubuntu PC)のOllamaにアクセスします。家庭内のLANで接続しただけなので、この場合に「サ…

CohereForAI/c4ai-command-r-plusを使ってうまくいったことが、量子化をしてぎりぎりローカルで動かせる規模のモデルでうまくいくのか試してみた

はじめにCohereForAI/c4ai-command-r-plusを使った記事はこちらです。 touch-sp.hatenablog.com HuggingChatを使って動かしました。 今回はいろいろなモデルをローカルで動かして同じことがうまくいくのか試してみました。 ローカルで動かせるモデルははるか…

Windows上のLM StudioにダウンロードしたモデルをWSL2上のDifyから使用する

はじめにLM Studioは、ローカル環境で言語モデルを使用するためのアプリケーションです。LM Studioを言語モデルサーバとして機能させることもできるので今回はそちらを試してみました。Windows上にLM Studioをインストール公式ページから「LM-Studio-0.2.23-…

【Continue】VSCodeにAIによるプログラミング支援機能を付ける

はじめに以前「llama.cpp」を使って同様のことをしました。 LLM(大規模言語モデル)をローカルで実行して、それを VScode から使う。これですこれ、やりたかったのは正にこれです。 - パソコン関連もろもろ 今回は「Ollama」を使います。 以前できなかった…

【PySide6】HuggingChatからCohereForAI/c4ai-command-r-plusを使って日本語指示でGUIを作る

はじめにHuggingChatを使えばCohereForAI/c4ai-command-r-plusが使えます。CohereForAIへのログインは必要ありません。ただし、Hugging Face IDでログインしないと使用制限があります。今回はCohereForAI/c4ai-command-r-plusを使ってPySide6のGUIを作ります…

【Candle】Rustなんか触ったこともない人間がRustを使ってOpenAI/Whisperを実行するまでの全手順(CUDAあり)

はじめにWhisperはOpenAIが公開しているSpeech2Textモデルです。音声ファイルを用意すればそれを文字起こししてくれます。以前Pythonから使ったことがあります。 【Whisper】日本語音声の文字起こしにチャレンジしました。 【OpenAI/Whisper】日本語音声の文…