Stability AIが公開している「stable-code-instruct-3b」を「ChatUI」から使用する

はじめに

以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。
touch-sp.hatenablog.com


今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。

「Llama.cpp」と「ChatUI」の使い方はこちらを見て下さい。
touch-sp.hatenablog.com

使い方

「Llama.cpp」の実行

./llama.cpp/server -m llama.cpp/models/stable-code-3b-q5_k_m.gguf -c 2048 -np 3 -ngl 16

「ChatUI」内の「.env.local」ファイルの中身

「.env.local」ファイルの中身を書き換えることが色々なモデルを使用する時の障壁となります。
今回はこのようにしました。

MONGODB_URL=mongodb://localhost:27017

MODELS=`[
  {
      "name": "stable-code-instruct-3b",
      "tokenizer": "stabilityai/stable-code-instruct-3b",
      "parameters": {
        "temperature": 0.1,
        "top_p": 0.95,
        "repetition_penalty": 1.2,
        "top_k": 50,
        "truncate": 1000,
        "max_new_tokens": 2048,
        "stop": ["<|im_end|>"]
      },
      "endpoints": [
        {
         "url": "http://127.0.0.1:8080",
         "type": "llamacpp"
        }
      ]
  }
]`

間違い、修正点などあればコメント頂ければ幸いです。