2025-03-25から1日間の記事一覧

4bit量子化した gemma-3-12b-it をWSL2上の llama.cpp で動かす

はじめに画像は扱っていません。ベンチマーク「ngl」の値をいろいろ変えてみました。「ngl=-1」がCPUのみで動いている(?)結果です。それにしては速すぎるような気もするので実はGPUが使われているのかもしれません。 上段がプロンプトの処理速度、下段がテ…