2025-02-18から1日間の記事一覧

vLLMでrinnaが公開している「qwen2.5-bakeneko-32b-instruct」を使ってみました

使用したPC32Bモデル(パラメーター数320億)なのでVRAM 24GBのRTX 4090を使用しました。 プロセッサ Intel(R) Core(TM) i7-14700K 実装 RAM 96.0 GB GPU RTX 4090 (VRAM 24GB) 実行中の表示 INFO 02-18 22:06:19 model_runner.py:1115] Loading model weigh…

「AXCXEPT」という日本の会社が公開している「phi-4-deepseek-R1K-RL-EZO」というモデルを使ってみました

はじめに以前同じ会社が公開してくれている「phi-4-open-R1-Distill-EZOv1」というモデルを使ったことがあります。 touch-sp.hatenablog.com 日本語の追加学習をした推論モデルとしてはサイバーエージェントが公開してくれている「DeepSeek-R1-Distill-Qwen-…