Ubuntu

WindowsからSCDVを使ってみる

参考にさせて頂いたページ qiita.com 2018年2月現在SCDVに関して日本語で書かれたページはここしか見つからなかった。 SCDVを勉強したいが元論文は英語で書かれていてもちろん読めるわけがない。 Githubのスクリプトを眺めてもなにがなんだかわからない。 …

WindowsからfastTextを使ってみる

参考にさせて頂いたページ tadaoyamaoka.hatenablog.com 環境 下準備 fastTextの導入 テキストファイルの準備 fastTextの実行 gensimを使って評価 結果 テキストファイルの下処理 「CKD(慢性腎臓病)」-「慢性」+「急性」=「AKI(急性腎障害)」 感想 R…

トピックモデルを使った文献スクリーニング (3)

touch-sp.hatenablog.com 上記をやや修正した Perlを使って表記ゆれ対策 下準備 Rのtext2vecパッケージを使う 結果 Perlを使って表記ゆれ対策 Rの「tm」パッケージ「stemDocument」はうまくいかないので頻出単語を調べたうえで自力で。 変換する単語数を増や…

トピックモデルを使った文献スクリーニング (2)

データのダウンロード Linuxコマンドでmd5チェックと解凍 C#を使ってアブストラクトを抽出 Perlを使って表記ゆれ対策 Rのtext2vecパッケージを使う 結果 データのダウンロード ダウンロードはこちらから。 Linuxコマンドでmd5チェックと解凍 md5sum -c pubme…

Perlを使って表記ゆれ対策

WindowsストアからUbuntuをインストールしたらPerlが入っていた。 WindowsでPerlを使いたければ直接インストールするよりも楽だと思う。 Rの「tm」パッケージ「stemDocument」はうまくいかないので自力で。 while(<>){ s/studies/study/ig; s/mortalities/mo…