================================================ word2vecの代わりに「text2vec」パッケージのGloveを使用 GMMは「ClusterR」パッケージを使用 ================================================ 環境 データの準備 GloVeでワードベクトル作成まで 混合…

Ubuntu上でfastTextを実行（word2vecの代わり） その結果をRで拾い上げ、その後を実行 Ubuntu上でfastTextを実行（word2vecの代わり） touch-sp.hatenablog.com その結果をRで拾い上げ、その後を実行 library(text2vec) #fastTextデータ（ワードベクトル）を…

参考にさせて頂いたページ qiita.com 2018年２月現在SCDVに関して日本語で書かれたページはここしか見つからなかった。 SCDVを勉強したいが元論文は英語で書かれていてもちろん読めるわけがない。 Githubのスクリプトを眺めてもなにがなんだかわからない。 …

参考にさせて頂いたページ tadaoyamaoka.hatenablog.com 環境 下準備 fastTextの導入 テキストファイルの準備 fastTextの実行 gensimを使って評価 結果 テキストファイルの下処理 「CKD（慢性腎臓病）」－「慢性」＋「急性」＝「AKI（急性腎障害）」 感想 R…

データのダウンロード Linuxコマンドでmd5チェックと解凍 C#を使ってアブストラクトを抽出 Perlを使って表記ゆれ対策 Rのtext2vecパッケージを使う 結果 データのダウンロード ダウンロードはこちらから。 Linuxコマンドでmd5チェックと解凍 md5sum -c pubme…

WindowsストアからUbuntuをインストールしたらPerlが入っていた。 WindowsでPerlを使いたければ直接インストールするよりも楽だと思う。 Rの「tm」パッケージ「stemDocument」はうまくいかないので自力で。 while(<>){ s/studies/study/ig; s/mortalities/mo…

データの準備 約10万文献を使用。 下記を参照。 touch-sp.hatenablog.com トピックモデルの作成 library(text2vec) #データの読み込み new_stopwords <- readRDS("new_stopwords") Absts <- readLines("Absts_train.txt") #単語の抽出 it <- itoken(Absts, t…