PubMedからダウンロードしたXMLファイルの操作方法 (巨大な場合)

検索結果のダウンロード PubMedから検索結果をXMLフォーマットでダウンロード。 検索結果をダウンロードするには、検索結果ページの右上にある「Send to」をクリック、「File」を選択し、Formatを「XML」にして「Create File」をクリック。 「pubmed_result.…

C#でXML操作、その後にtext2vecでTF-IDFを作成

PubMed検索 検索式 "kidney diseases"[MeSH Terms] AND "english"[Language] AND ("2015/1/1"[PDAT] : "2017/12/31"[PDAT])PubMedから検索結果をXMLフォーマットでダウンロード。 検索結果をダウンロードするには、検索結果ページの右上にある「Send to」を…

文献アブストラクトから作成したTF-IDFを使って似たような文献を探してみる

R

<環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_COLLATE=Japanese_Japan.932 LC_CTYPE=Japanese_Japan.932 [3] …

GloVe Word Embeddingsを試してみる(2)日本語に挑戦

R

パソコンで楽しむ自分で動かす人工知能作者: 中島能和出版社/メーカー: インプレス発売日: 2017/08/10メディア: Kindle版この商品を含むブログを見る上記に書かれていることをMeCabとRとtext2vecパッケージを使って実行。 <環境> > sessionInfo() R versio…

GloVe Word Embeddingsを試してみる

R

ほとんどマニュアル通りに行っただけ。 GloVe Word Embeddings<環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_C…

文献のアブストラクトを取得してTF-IDFを作成する(2)

R

PubMedから検索結果をXMLフォーマットでダウンロードした場合を想定。 検索結果をダウンロードするには、検索結果ページの右上にある「Send to」をクリック、「File」を選択し、Formatを「XML」にして「Create File」をクリック。 「pubmed_result.xml」とい…

文献のアブストラクトを取得してTF-IDFを作成する

R

<環境> > sessionInfo() R version 3.4.2 (2017-09-28) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 10 x64 (build 16299) Matrix products: default locale: [1] LC_COLLATE=Japanese_Japan.932 LC_CTYPE=Japanese_Japan.932 [3] …

Rの「text2vec」パッケージ

R

Rの「text2vec」パッケージを使ってみる。 library(text2vec) a <- c("1:He loves her.", "2:She loves her.", "3:Her friends loved her") 【1】単語を抽出する it <- itoken(a, tolower, word_tokenizer) (voc <- create_vocabulary(it)) Number of docs: …

RでEutilsを使ってみる

Rによるスクレイピング入門作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/27メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る上記を参考にEutilsを使用してみる。 library(dplyr) l…

RMeCabを使ってみる

R

Rによるスクレイピング入門作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/27メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る上記を参考にRMeCabを使用してみる。 RMeCabのインスト…

機械学習を用いた論文抽出

www.atmarkit.co.jp 興味深い記事を発見。 Windows版TensorFlowを用いたことに勇気付けられる。 自然言語処理には何を使ったのだろう?

Rできれいな図を描く(円グラフ)

R

value <- c(50, 51, 29, 35, 18, 68) mycol <- c( rgb(134, 202, 232, maxColorValue = 255), rgb(153, 165, 204, maxColorValue = 255), rgb(246, 170, 200, maxColorValue = 255), rgb(254, 210, 122, maxColorValue = 255), rgb(245, 162, 108, maxColorV…

Rできれいな図を描く(棒グラフ)

R

2010 2011 2012 2013 2014 2015 1 149 136 133 122 118 144 2 174 132 154 111 126 152 データの作成 データの読み込み(Excelからクリップボード経由で読み込む想定) mydata <- read.table(file = "clipboard", header = T, check.names = F) mymatrix <- …

Rできれいな図を描く(折れ線グラフ)

R

2008 2009 2010 2011 2012 2013 2014 2015 A 43.30 44.50 43.60 44.30 44.20 43.80 43.50 43.70 B 22.80 21.90 21.00 20.20 19.40 18.80 17.80 16.90 C 10.60 10.70 11.70 11.80 12.30 13.10 14.20 14.20 データの読み込み(Excelからクリップボード経由で読…

Rで横軸が時系列のグラフを書く

R

日付の場合 a <- as.Date(c("2017/4/15","2017/5/2","2017/8/31")) b <- c(2,8,7) par(xaxt="n") plot(a,b,type="b",ylim=c(0,10),xlab="time",ylab="value") par(xaxt="s") axis.Date(1,at=seq(min(a),max(a),"month"),format="%m月%d日") 時間の場合 a <- …

MXNet-1.0.0公開

ついにversion 1.0.0が公開された。 Windowsからもpipでインストール可能。

rmarkdownで表を書く

R

rmdファイル --- title: "irisテーブル" output: html_document --- ```{r} head(iris) ``` --- ```{r results="asis"} print(xtable(head(iris)),type="html") ``` --- ```{r results="asis"} al <- rep("center",ncol(iris)+1) print(xtable(head(iris), a…

Rの結果をPDFに出力する (rmarkdown)

R

以前にも同様のことを書いた touch-sp.hatenablog.com 今回は「rmarkdown」パッケージを使用する PDF出力はWordで行う rmdファイルを用意する(Markdown1.rmd) --- output: word_document --- ```{r echo=FALSE} print(title) t.test(セトサ, バージーカラー,…

Windows10 で TFlearn を使う

環境 Windows 10 Pro 64bit CPU only TensorFlowをAnacondaの仮想環境にインストール 公式サイト通り 仮想環境に以下でTFlearnをいれる。 pip install tflearn 以下の4点が必要であった。 pip install Scipypip install h5pypip install jupyterこちらから以…

Rの小技

R

過去の記事をまとめたもの ■ExcelファイルをRに読み込む クリップボード経由でファイルを読み込む方法 mydata <- read.table(file="clipboard",header=T,sep="\t") ■データフレームの入力 mydata <- edit(data.frame()) ■プロットのマーカーをきれいに表示…

WindowsでMXNet-Gluon-Style-Transferを使ってみる(GPUなし)

GPU版はこちら touch-sp.hatenablog.com 環境 Windows10 Pro 64bit Anacondaに仮想環境を作成 conda create -n gluon python=3.6 anaconda activate gluon pip install mxnetpython 2.7では最後の実行がうまくいかなかった MXNetのソースをダウンロード 『こ…

WindowsでMXNet-Gluon-Style-Transferを使ってみる(GPUあり)

CPU版はこちら touch-sp.hatenablog.com 環境 Windows10 Pro 64bit GeForce GTX 1080 (CUDA 8.0, cuDNN 6.0) Anacondaに仮想環境を作成 conda create -n gluon python=2.7 anaconda activate gluon pip install mxnet-cu80==0.12.0 MXNetのソースをダウンロ…

GluonでMNIST

下記の本で紹介されているニューラルネットワークをGluonで書いてみる。ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本(ソフトカバー)この…

MXNet-0.12.0公開(mxnet-ssdとneural-styleを使ってみた)

MXNet-0.12.0が公開された。 Windowsでもpipから最新版がインストール可能になっている。 mxnet-ssdとneural-styleを使ってみた。 環境 Windows10 Pro 64bit GeForce GTX 1080 (CUDA 8.0, cuDNN 6.0) openCVをインストール 『こちら』からopencv-2.4.13.2を…

Darknet YOLOのハイパーパラメーター(学習率)

github.com 学習率が徐々に変化する仕様になっているらしい。 learning_rate=0.0001 policy=steps steps=100,25000,35000 scales=10,.1,.1 [0 - 100] iteration learning_rate will be 0.0001 [100 - 25000] iteration learning_rate will be 0.001 [25000 -…

Darknet YOLOの進化がとまらない

github.com YOLOで『densenet201』が使えるようになった。 pre-trained weights 『densenet201.300』をダウンロード cfg-file 『densenet201_yolo2.cfg』をダウンロード darknet.exe detector train obj.data densenet201_yolo2.cfg densenet201.300 (おま…

手っ取り早くWindowsでmxnet-ssdを使う方法(GPUあり)

環境 Windows10 Pro 64bit GeForce GTX 1080 (CUDA 8.0, cuDNN 6.0) Anaconda4.4.0(Python2.7version)をインストール openCVをインストール 『こちら』からopencv-2.4.13.2をダウンロード 解凍してパスを通す D:\ProgramFiles\opencv\build\x64\vc14\bin 『h…

YOLO学習のためのファイル操作もろもろ (2)

画像の左右反転 import glob import os from PIL import Image jpgfiles = glob.glob("./images/001/*.jpg") for f in jpgfiles: (dirname, filename) = os.path.split(f) (name,ext) = os.path.splitext(filename) new_img = "LR_" + filename new_txt = "L…

YOLO学習のためのファイル操作もろもろ

複数のファイルに連番をつける Windowsの場合にはコマンドプロンプト(あるいはPower Shell)を使えばできる。 新たに勉強するのが面倒くさいのでRで行う。 (例としてPASという名前がついたtifファイルに連番をつける) mypath <- getwd() setwd(choose.dir…

Python素人がWindowsでmxnet-ssdを使うまでの長い長い道のり

DarknetのYOLOを試してみたらどうしてもSSDも試したくなった そこで真剣にPythonに取り組もうと決めた 今後はRとPythonの両方を使っていく 環境 windows7 64bit GPUなし Pythonのインストール Python3.5を選択(Anacondaはよくわからないので選ばなかった!…