ベンチマーク方法
こちらのスクリプトを使いました。touch-sp.hatenablog.com
結果
ノートPC (Windows 11)
プロセッサ Intel(R) Core(TM) i7-12700H 実装 RAM 32.0 GB GPU RTX 3080 Laptop (VRAM 16GB)
CUDA 11.8 Ollama 0.5.4
tokens per second: 28.86 tokens/second
デスクトップPC 1 (Ubuntu 24.04)
プロセッサ Intel(R) Core(TM) i7-11700 実装 RAM 64.0 GB GPU Intel Arc A770 (VRAM 16GB)
oneAPI Base Toolkit 2024.0 Ollama 0.5.1-ipexllm-20250107
tokens per second: 26.15 tokens/second
デスクトップPC 2 (Windows 11)
プロセッサ Intel(R) Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VRAM 24GB)
CUDA 12.4 Ollama 0.5.4
tokens per second: 81.68 tokens/second
考察
RTX 4090は圧倒的に速いです。最新のIPEX-LLMをインストールしたら、Ollamaが0.5.1になっていました。IPEX-LLMを介さず直接Intel ArcでOllamaが使えたらいいと思いますが現状難しいようです。
