2024-06-01から1ヶ月間の記事一覧

【Excel VBA】CohereForAI/c4ai-command-r-plusを使って日本語指示でユーザーフォームにボタンを配置する②

はじめに前回の拡張です。 touch-sp.hatenablog.com テキストボックス、ラベルも使えるように拡張してみました。プロンプト ユーザーフォームを2行3列に分割し1行目にラベル、ボタン、ボタン、2行目にテキストボックス、テキストボックス、ボタンを並べたい…

【Excel VBA】HuggingChatからCohereForAI/c4ai-command-r-plusを使って日本語指示でユーザーフォームにボタンを配置する

はじめに以前PySide6を使って同様のことをしました。 touch-sp.hatenablog.com 今度はVBAでチャレンジしました。システムプロンプトシステムプロンプトに例を記述しておきます。 以下はVBAでユーザーフォームにボタンを6個(縦3行、横2列)追加するためのサ…

Stable Diffusion 3 Medium が Diffusers から使えるようになったのでさっそく使ってみました。

はじめにStable Diffusion 3がDiffusersから使えるようになったので、久しぶりに画像生成してみました。PC環境使用したのはこちらのPCです。 Windows 11 CUDA 11.8 (RTX 3080 Laptop VRAM 16GB) Python 3.12Python環境構築 pip install torch==2.3.1+cu118 -…

【Intel Arc A770】IPEX-LLMを使わずにSYCL backendでOllamaを実行した時のベンチマーク

はじめにIPEX-LLMを使わずにSYCL backendでOllamaを実行することに成功しました。IPEX-LLMを使った時と速度比較してみました。ベンチマーク測定方法前回同様に行いました。 touch-sp.hatenablog.com 結果phi3:3.8b (model size: 2.4GB)with IPEX-LLM tokens …

【Intel Arc A770】IPEX-LLMを使ってOllamaを実行した時のベンチマーク

はじめに前回Ubuntu 22.04にIPEX-LLMをインストールしてOllamaを実行しました。 touch-sp.hatenablog.com 今回いろいろなモデルでベンチマークを取りました。ベンチマーク測定方法別のPC(Windows PC)のPythonからAPI連携してベンチマークを取りました。Pyt…

【Intel Arc A770】IPEX-LLMを使ってIntel製GPUでOllamaを実行する。

はじめにIntel製GPUでOllamaを実行してみました。Ubuntu 22.04を使っています。SYCLを使って直接実行したかったのですができなかったので、IPEX-LLMを使用しました。GPUドライバのインストールこちらの通りにやりました。 実際に実行したのは以下の3つです。…

【Intel Arc A770】使っていないPCを大規模言語モデル(LLM)サーバーとして働かせることに成功しました

はじめにタイトルにあるとおり自宅内LLMサーバーを立ち上げることに成功しました。サーバー側のPC使っていないPCに「Intel Arc A770」をのせました。 Ubuntu 22.04 Core i7 11700 RAM 64GB Intel Arc A770メインPC普段使っているPCです。 おそらくこちらは低…

Intel製グラフィックボードで大規模言語モデルを動かす【Llama.cpp + SYCL】

はじめにSYCLを使ってllama.cppを動かす手順になります。 おまけとしてChatUIも使ってみました。OSはUbuntu 22.04です。下準備GPUドライバとoneAPI Base Toolkitのインストールに関しては別記事を書きましたのでそちらを見て下さい。 touch-sp.hatenablog.co…

Intel製グラフィックボードで大規模言語モデルを動かしたい②【準備編】

はじめにUbuntu 22.04でIntel Arc A770を動かすための準備です。備忘録としてなるべく再現可能なように記録しておきます。Resizable BARを有効にするこちらにこのように書かれています。 Resizable BAR (or Smart Access Memory) must be enabled for optima…