2024-05-25から1日間の記事一覧

CohereForAI/c4ai-command-r-plusを使ってうまくいったことが、量子化をしてぎりぎりローカルで動かせる規模のモデルでうまくいくのか試してみた

はじめにCohereForAI/c4ai-command-r-plusを使った記事はこちらです。 touch-sp.hatenablog.com HuggingChatを使って動かしました。 今回はいろいろなモデルをローカルで動かして同じことがうまくいくのか試してみました。 ローカルで動かせるモデルははるか…

Windows上のLM StudioにダウンロードしたモデルをWSL2上のDifyから使用する

はじめにLM Studioは、ローカル環境で言語モデルを使用するためのアプリケーションです。LM Studioを言語モデルサーバとして機能させることもできるので今回はそちらを試してみました。Windows上にLM Studioをインストール公式ページから「LM-Studio-0.2.23-…