はじめに
LM Studioは、ローカル環境で言語モデルを使用するためのアプリケーションです。LM Studioを言語モデルサーバとして機能させることもできるので今回はそちらを試してみました。Windows上にLM Studioをインストール
公式ページから「LM-Studio-0.2.23-Setup.exe」をダウンロードして実行するだけでインストールは完了しました。lmstudio.ai
WSL2上のUbuntuにDifyをインストール
以前こちらの記事で行った通りです。touch-sp.hatenablog.com
今回使用したモデル
こちらのモデルを使わせて頂きました。huggingface.co
モデルのダウンロードはLM Studioから行いました。
左にあるツールバーの「Local Server」を選択して「Start Server」をクリックするだけでサーバーとして機能します。
Difyの設定
Difyの設定を以下のようにすると問題ありませんでした。
