はじめに以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。 touch-sp.hatenablog.com 今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。 「Llama.cpp」と「ChatUI」の使い方はこ…

はじめにWSL2上のLlama.cppで大規模言語モデルの「zephyr-7b-beta」を実行して、Windows上のChatUIでそれを利用してみました。無料で実行可能です。 github.com github.com必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインスト…