ベンチマーク方法
こちらのスクリプトを使いました。touch-sp.hatenablog.com
結果
ノートPC 1 (Windows 11)
プロセッサ Intel(R) Core(TM) i7-1355U 実装 RAM 32.0 GB GPUなし
Ollama 0.5.4
tokens per second: 8.81 tokens/second
ノートPC 2 (Windows 11)
プロセッサ Intel(R) Core(TM) i7-12700H 実装 RAM 32.0 GB GPU RTX 3080 Laptop (VRAM 16GB)
CUDA 11.8 Ollama 0.5.4
tokens per second: 81.60 tokens/second
デスクトップPC 1 (Ubuntu 24.04)
プロセッサ Intel(R) Core(TM) i7-11700 実装 RAM 64.0 GB GPU Intel Arc A770 (VRAM 16GB)
oneAPI Base Toolkit 2024.0 Ollama 0.4.6 (IPEX-LLM)
tokens per second: 82.17 tokens/second
デスクトップPC 2 (Windows 11)
プロセッサ Intel(R) Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VRAM 24GB)
CUDA 12.4 Ollama 0.5.4
tokens per second: 215.58 tokens/second
