自然言語処理
はじめにWSL2上のOllamaで「Phi-3」を実行して、Windows上のChatUIでそれを利用してみました。無料で実行可能です。 github.com github.com 必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインストールが必要です。使用した環境WS…
はじめに「Llama.cpp」と「ChatUI」を使用しています。それぞれの使い方はこちらを参照して下さい。 touch-sp.hatenablog.com touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/codegemma-7b-it-f16.gguf -c 2048…
はじめに以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。 touch-sp.hatenablog.com 今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。 「Llama.cpp」と「ChatUI」の使い方はこ…
はじめにWSL2上のLlama.cppで大規模言語モデルの「zephyr-7b-beta」を実行して、Windows上のChatUIでそれを利用してみました。無料で実行可能です。 github.com github.com必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインスト…
はじめにLLMを「llama.cpp」を使ってローカルで実行し、VSCode拡張機能の「Continue」からそのモデルを使用するイメージです。github.com github.com 注意コードを書いている最中にどんどん続きの候補を挙げてくれるようなことはできていません。（やろうと…
はじめに「stable-code-3b」という大規模言語モデルは以前から公開されていました。 今回「instruct」モデルが新たに公開されたので使ってみました。私の認識が間違えていなかったら「instruct」モデルは質問に答えてくれるモデルです。通常の大規模言語モデ…
はじめに「RakutenAI-7B」「RakutenAI-7B-instruct」「RakutenAI-7B-chat」の3つのモデルが公開されています。今回は「RakutenAI-7B-instruct」を使ってみました。結果実行するたびに異なる答えが返ってきます。 USER: 炒飯の作り方を教えて ASSISTANT: 分量…
はじめにWeb上で使うならHuggingChatで使えます。 今回はモデルをダウンロードしてローカル環境で実行しました。結果英語を使いました。「Write a hello world program in c#」（C#でhello worldのプログラムを書いて）と聞いた時の答えです。 ```c# using S…
huggingface.co はじめに最近いろいろと言語モデルをさわっています。いずれは自前データで学習なんかできたら良いなと思いますが、家庭用PCでそんなことできるのでしょうか？時間あるときに勉強してみようと思っています。ここから本題です。前回はモデルが…
huggingface.co はじめにパラメータ数が70億パラメータ（7B）、130億パラメータ（13B）、700億パラメータ（70B）の3モデルがあるようです。さらにそれぞれにbaseモデルとinstructモデルが存在します。instructモデルはチャットのように質問に対して答えを返…
huggingface.co はじめに以前BLIP, BLIP2を使った経験があります。 touch-sp.hatenablog.com touch-sp.hatenablog.com 「Japanese InstructBLIP Alpha」は名前から分かる通り日本語が使えます。 質問にも答えてくれました。用意した画像以前と同様、こちらの…
huggingface.co 用意した画像ぱくたそからこちらの画像を使わせて頂きました。 www.pakutaso.com 結果「Describe the person in the image」（画像の人物を説明して下さい）と投げかけた時の答えです。 The person in the image is a young woman wearing a …
前回に引き続きリクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使っていきます。 touch-sp.hatenablog.com 今回は日本語での画像検索に挑戦しました。 1年以上前にOpenAIのCLIPを使って同じことをした経験があります。 touch-sp.hatenablo…
1年以上前にOpenAIのCLIPを使ってゼロショット画像分類に挑戦した経験があります。 touch-sp.hatenablog.com 今回リクルート社が発表した「japanese-clip-vit-b-32-roberta-base」を使って日本語でゼロショット画像分類に挑戦しました。 huggingface.co 用意…
はじめに 使用するデータ ファイルの読み込み 形態素解析と単語のID化→その後保存 モデルの作成 実行 結果の確認 参考文献 はじめに 文章を固定長のベクトルで表現することにチャレンジしました。 最後にt-SNEで２次元に落とし込んで図示しています。 使用す…
参考にさせて頂いたページ qiita.com 2018年２月現在SCDVに関して日本語で書かれたページはここしか見つからなかった。 SCDVを勉強したいが元論文は英語で書かれていてもちろん読めるわけがない。 Githubのスクリプトを眺めてもなにがなんだかわからない。 …
参考にさせて頂いたページ tadaoyamaoka.hatenablog.com 環境 下準備 fastTextの導入 テキストファイルの準備 fastTextの実行 gensimを使って評価 結果 テキストファイルの下処理 「CKD（慢性腎臓病）」－「慢性」＋「急性」＝「AKI（急性腎障害）」 感想 R…
WindowsストアからUbuntuをインストールしたらPerlが入っていた。 WindowsでPerlを使いたければ直接インストールするよりも楽だと思う。 Rの「tm」パッケージ「stemDocument」はうまくいかないので自力で。 while(<>){ s/studies/study/ig; s/mortalities/mo…
下準備 データの取得 GloVe Word Embeddingsを使用 結果の確認 環境 下準備 #ストップワードを決める library(tm) new_stopwords <- c(stopwords("en"), "also", "however", "thus", "may") saveRDS(new_stopwords, "new_stopwords") データの取得 腎臓関連…
ほとんどマニュアル通りに行っただけ。 GloVe Word Embeddings ＜環境＞ > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_…
