Rできれいな図を描く(棒グラフ) Part 2

R

touch-sp.hatenablog.com mydata <- c(1.6,1.2,1.23,1.08,1.01,1.00,1.12,1.06,1.15,1.28,1.35) mycol <- rep(rgb(90,155,215, maxColorValue=255),11) mycol[6] <- "red" png("myGraph.png", width=900, height=600, bg="transparent") #外枠を描く plot(0,…

VBAで折れ線グラフの線やマーカーを変更する

Sub chart() ActiveSheet.ChartObjects("graph").Activate ActiveChart.FullSeriesCollection(3).Select 'マーカーの型とサイズを指定 With Selection .MarkerStyle = 8 .MarkerSize = 5 End With 'マーカーの色を指定 With Selection .MarkerBackgroundColo…

WindowsでMXNet-Gluon-Style-Transferを使う(GPUあり)

2018年4月3日動作確認 環境 Windows10 Pro 64bit CUDA9.1 cudnn7.1.2 Anacondaで仮想環境を作成 conda create -n mxnet python=3.6 anaconda activate mxnet mxnetのダウンロード、インストール 『こちら』から「mxnet_cu91-1.2.0b20180402-py2.py3-none-win…

WindowsのRでmxnetを使う(GPUなし)

2018年4月2日動作確認 環境 Windows7 64bit R 3.4.4 MXNetをインストール 公式サイトとおりに実行 cran <- getOption("repos") cran["dmlc"] <- "https://apache-mxnet.s3-accelerate.dualstack.amazonaws.com/R/CRAN/" options(repos = cran) install.packa…

Windowsでmxnet-ssdを使う(GPUなし)

2018年3月10日動作確認 環境 Windows10 Pro 64bit Anacondaで仮想環境を作成 conda create -n mxnet python=3.6 anaconda activate mxnet mxnetのダウンロード、インストール 『こちら』から以下をダウンロード mxnet-1.2.0b20180308-py2.py3-none-win_amd64…

WindowsでMXNet-Gluon-Style-Transferを使う(GPUなし)

2018年3月9日動作確認 環境 Windows10 Pro 64bit Anacondaで仮想環境を作成 conda create -n mxnet python=3.6 anaconda activate mxnet mxnetのダウンロード、インストール 『こちら』から「mxnet-1.2.0b20180308-py2.py3-none-win_amd64.whl」をダウンロー…

「text2vec」パッケージを使ってSCDVのようなことをやってみる

R

================================================ word2vecの代わりに「text2vec」パッケージのGloveを使用 GMMは「ClusterR」パッケージを使用 ================================================ 環境 データの準備 GloVeでワードベクトル作成まで 混合…

RとfastTextを使ってSCDVのようなことをやってみる

R

Ubuntu上でfastTextを実行(word2vecの代わり) その結果をRで拾い上げ、その後を実行 Ubuntu上でfastTextを実行(word2vecの代わり) touch-sp.hatenablog.com その結果をRで拾い上げ、その後を実行 library(text2vec) #fastTextデータ(ワードベクトル)を…

WindowsからSCDVを使ってみる

参考にさせて頂いたページ qiita.com 2018年2月現在SCDVに関して日本語で書かれたページはここしか見つからなかった。 SCDVを勉強したいが元論文は英語で書かれていてもちろん読めるわけがない。 Githubのスクリプトを眺めてもなにがなんだかわからない。 …

WindowsからfastTextを使ってみる

参考にさせて頂いたページ tadaoyamaoka.hatenablog.com 環境 下準備 fastTextの導入 テキストファイルの準備 fastTextの実行 gensimを使って評価 結果 テキストファイルの下処理 「CKD(慢性腎臓病)」-「慢性」+「急性」=「AKI(急性腎障害)」 感想 R…

トピックモデルを使った文献スクリーニング (3)

touch-sp.hatenablog.com 上記をやや修正した Perlを使って表記ゆれ対策 下準備 Rのtext2vecパッケージを使う 結果 Perlを使って表記ゆれ対策 Rの「tm」パッケージ「stemDocument」はうまくいかないので頻出単語を調べたうえで自力で。 変換する単語数を増や…

トピックモデルを使った文献スクリーニング (2)

データのダウンロード Linuxコマンドでmd5チェックと解凍 C#を使ってアブストラクトを抽出 Perlを使って表記ゆれ対策 Rのtext2vecパッケージを使う 結果 データのダウンロード ダウンロードはこちらから。 Linuxコマンドでmd5チェックと解凍 md5sum -c pubme…

Perlを使って表記ゆれ対策

WindowsストアからUbuntuをインストールしたらPerlが入っていた。 WindowsでPerlを使いたければ直接インストールするよりも楽だと思う。 Rの「tm」パッケージ「stemDocument」はうまくいかないので自力で。 while(<>){ s/studies/study/ig; s/mortalities/mo…

トピックモデルを使った文献スクリーニング

R

データの準備 約10万文献を使用。 下記を参照。 touch-sp.hatenablog.com トピックモデルの作成 library(text2vec) #データの読み込み new_stopwords <- readRDS("new_stopwords") Absts <- readLines("Absts_train.txt") #単語の抽出 it <- itoken(Absts, t…

ガイドライン作成時の文献1次スクリーニング

目標 約450文献から16文献を抽出する。 (実際に過去に行った作業であり16文献はその結果である) まずは16文献がどのように散らばっているかを見てみよう。 まんべんなく散らばっていることがわかる。 今回はそれらを集めることが目標。 データの準備 約10…

「慢性腎臓病」-「慢性」+「急性」=「急性腎障害」

下準備 データの取得 GloVe Word Embeddingsを使用 結果の確認 環境 下準備 #ストップワードを決める library(tm) new_stopwords <- c(stopwords("en"), "also", "however", "thus", "may") saveRDS(new_stopwords, "new_stopwords") データの取得 腎臓関連…

文献1次スクリーニングのためにdoc2vecを試してみる

検索結果のダウンロード、データの取得 touch-sp.hatenablog.com doc2vecを試してみる Pythonを使用 import warnings warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim') from gensim.models.doc2vec import Doc2Vec from ge…

PubMedからダウンロードしたXMLファイルの操作方法 (巨大な場合)

検索結果のダウンロード PubMedから検索結果をXMLフォーマットでダウンロード。 検索結果をダウンロードするには、検索結果ページの右上にある「Send to」をクリック、「File」を選択し、Formatを「XML」にして「Create File」をクリック。 「pubmed_result.…

文献アブストラクトから作成したTF-IDFを使って似たような文献を探してみる

R

<環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_COLLATE=Japanese_Japan.932 LC_CTYPE=Japanese_Japan.932 [3] …

GloVe Word Embeddingsを試してみる(2)日本語に挑戦

R

パソコンで楽しむ自分で動かす人工知能作者: 中島能和出版社/メーカー: インプレス発売日: 2017/08/10メディア: Kindle版この商品を含むブログを見る上記に書かれていることをMeCabとRとtext2vecパッケージを使って実行。 <環境> > sessionInfo() R versio…

GloVe Word Embeddingsを試してみる

R

ほとんどマニュアル通りに行っただけ。 GloVe Word Embeddings <環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_…

文献のアブストラクトを取得してTF-IDFを作成する(2)

R

PubMedから検索結果をXMLフォーマットでダウンロードした場合を想定。 検索結果をダウンロードするには、検索結果ページの右上にある「Send to」をクリック、「File」を選択し、Formatを「XML」にして「Create File」をクリック。 「pubmed_result.xml」とい…

文献のアブストラクトを取得してTF-IDFを作成する

R

<環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_COLLATE=Japanese_Japan.932 LC_CTYPE=Japanese_Japan.932 [3] …

Rの「text2vec」パッケージ

R

Rの「text2vec」パッケージを使ってみる。 library(text2vec) a <- c("1:He loves her.", "2:She loves her.", "3:Her friends loved her") 【1】単語を抽出する it <- itoken(a, tolower, word_tokenizer) (voc <- create_vocabulary(it)) Number of docs: …

RでEutilsを使ってみる

Rによるスクレイピング入門作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/27メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る上記を参考にEutilsを使用してみる。 library(dplyr) l…

RMeCabを使ってみる

R

Rによるスクレイピング入門作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/27メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る上記を参考にRMeCabを使用してみる。 RMeCabのインスト…

機械学習を用いた論文抽出

www.atmarkit.co.jp 興味深い記事を発見。 Windows版TensorFlowを用いたことに勇気付けられる。 自然言語処理には何を使ったのだろう?

Rできれいな図を描く(円グラフ)

R

value <- c(50, 51, 29, 35, 18, 68) mycol <- c( rgb(134, 202, 232, maxColorValue = 255), rgb(153, 165, 204, maxColorValue = 255), rgb(246, 170, 200, maxColorValue = 255), rgb(254, 210, 122, maxColorValue = 255), rgb(245, 162, 108, maxColorV…

Rできれいな図を描く(棒グラフ)

R

2010 2011 2012 2013 2014 2015 1 149 136 133 122 118 144 2 174 132 154 111 126 152 データの作成 データの読み込み(Excelからクリップボード経由で読み込む想定) mydata <- read.table(file = "clipboard", header = T, check.names = F) mymatrix <- …

Rできれいな図を描く(折れ線グラフ)

R

2008 2009 2010 2011 2012 2013 2014 2015 A 43.30 44.50 43.60 44.30 44.20 43.80 43.50 43.70 B 22.80 21.90 21.00 20.20 19.40 18.80 17.80 16.90 C 10.60 10.70 11.70 11.80 12.30 13.10 14.20 14.20 データの読み込み(Excelからクリップボード経由で読…