はじめにIPEX-LLMを使わずにSYCL backendでOllamaを実行することに成功しました。IPEX-LLMを使った時と速度比較してみました。ベンチマーク測定方法前回同様に行いました。 touch-sp.hatenablog.com 結果phi3:3.8b (model size: 2.4GB)with IPEX-LLM tokens …
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。