KNIMEとか倉庫

KNIMEやEXCELなどの備忘録です。

【R】パイプ演算子を学びたい

・お題:パイプ演算子というやつを使うと、分かりやすいコードが書けるらしい。どんなものか、体験してみたい。 ・先日Tidyverseを調べた際に、dplyrパッケージのチートシートにpipesという記述があった(以下)。 github.com ・pipesは日本語でパイプ演算子…

【R】処理を速くしてみたい

・お題:Rでfor文を使うと処理が遅いので、for文を使わずに処理を速くしてみたい。 ・以下のサイトを参考にさせて頂いた。 book.mynavi.jp ・とりあえず、以前のようにfor文で処理を記載してみる。1から1億まで整数を二乗して足してもらった。 > m=0> tic()>…

【R】処理時間を計測してみたい

・お題:処理にかかった時間を取得したい。 ・tictocという可愛らしい名前のパッケージを使ってみる。以下を参照した。 qiita.com ・install.packages("tictoc")でパッケージをインストール。 ・tictocを起動し、参考通りに実行してみる。tic()とtoc()で処理…

【R】繰り返し処理してみたい。

・お題:for文やwhile文を使って、繰り返し処理をしてみたい。 ・for文を使ってみる。1から10まで足し算することを考える。Pythonで書くとこんな感じ。rangeはわざわざリスト化する必要はないけれど、Rと似たような感じにしたくてリストにしてみた。list(ran…

【R】ggplot2で作図してみたい

・お題:先日インストールしたパッケージ群tidyverseに、ggplot2というグラフを作成するパッケージが入っていた。ggplot2でいろいろ作図してみたい。 ・以下のサイトを参考にさせて頂いた。非常に丁寧に解説なさっているので、ぜひそちらをご参照いただきた…

【R】Tidyverseに関するメモ

・お題:Pythonもそうだけれど、Rでは便利機能を備えたソフトウェアをインストールすることで、機能を拡張することができる。少し調べてみたところ、データサイエンスやりたいならとりあえずTidyverseというパッケージ集をインストールしておくと便利らしい…

【R】データの型を確認したり変更したりしたい

・お題:データの型が合わないと、うまく処理してくれない。データの型の確認方法や、変更方法をメモしておきたい。 ・とりあえず、オブジェクトを作ってみる。 > a<-1> b<-"2" ・それぞれのオブジェクトの型を確認する。Rではclass関数で出てくるっぽい。も…

【R】data.frameを直接弄ったりしたい

・お題:data.frameを直接弄ったりしてみたい。 ・とりあえず、data.frameを作成する。 > col1<-c(1,2,3,4)> col2<-rnorm(4,10,2)> col3<-sample(c("a","b"),4,replace = TRUE)> df=data.frame(col1,col2,col3)> df col1 col2 col31 1 11.516636 a2 2 14.030…

【R】数値データを作りたい

・お題:いろいろやってみたいときに、イメージするサンプルデータをテキパキ作れるとたぶん便利。数値データを作ってみたい。 ・好きに数値を入力したい。 > c(1,3,6,10)[1] 1 3 6 10 ・決まった数値を反復させたいときは、repを使う。例えば、1,2,3,1,2,3.…

【R】Rの使い方メモ③(ディレクトリとかファイル)

・お題:ディレクトリ関連のメモ。随時追加。 ・ワーキングディレクトリの取得。 > getwd()[1] "C:/Users/xxxxx/Documents" ・ワーキングディレクトリの設定。例えば、デフォルトのディレクトリ中にRというフォルダ中の20230101というフォルダに設定。 >setw…

【R】Rの使い方メモ②(データフレーム)

・お題:Rの基本的な使い方に関して、長くなったので分けて記載することにした。今回はデータフレーム関連。思いついたら随時追加していきたい。 ・とりあえず、csvを読み込む。 > df<-read.csv("test.csv")> df ID Name Nenshu Shusshin1 a Tanaka 300 Toky…

【R】Rの使い方メモ①

・お題:データ分析をするのにRを使いたいのだけれど、私の頭はザルなので、全然頭に残らない。そこで、使い方を簡単にメモしておきたい。 ・Rの導入 基本的なことは以下のサイトに網羅されている。感謝。RとRStudioを放り込んで、環境を構築した。 htsuda.n…

【Python】分類問題で遊んでみたい。

・お題:機械学習というやつで遊んでみたくて、画像に写っているものが何か分類する問題をやってみようと思った。有名な問題で、手書きの数字画像がなんの数字か判別するモデルを作るやつがあるらしい。やってみたい。 ・とりあえず、データをロードしてみる…

【Python】ネットワークをくっつけたり共通部分を出したりしたい

・お題:似た実験をしたところ、2つのデータセットを得た。それぞれからネットワークを作成したところ、どうやら被っているところと違うところがあるらしい。これらを可視化したい。 ・networkxの公式サイトを参考にした。正しくはそちらを参照いただきたい…

【Python】PandasのDataFrameの特定の列に色をつけたい

・お題:PandasのDataFrameの特定の列やセルに色を付けて、表を見やすくしたい。 ・公式サイトを参考にした。正しいことは公式サイトを参照していただきたい。 pandas.pydata.org ・とりあえず、データセットを作成する。 import pandas as pdimport numpy a…

【Python】DataFrameから特定のデータ型の列だけ取り出したい

・お題:PandasのDataFrameを入手した。このDataFrameから特定のデータ型の列だけ抜き出したい。 ・Pandasの公式にやり方が書いてあった。正しいことはそちらをご確認いただきたい。 pandas.pydata.org ・とりあえずデータフレームを作成する。今回は、スポ…

【Python】ネットワークの中の大事なノードを見つけたい

・お題:先日、ネットワークの図を描いてみた。たくさんあるノードの中で、どれが大事っぽいのか推定してみたい。 ・大事さと私がイメージしていることは、ネットワーク界隈では中心性と呼ぶらしい。私の「大事さ」はぼんやりとしたイメージだけれど、「中心…

【Python】ネットワークからコミュニティを抽出したい

・お題:ネットワークを描いたところ、なんだがゴチャっとしている。どのノード同士がまとまった集団を形成しているのか、コミュニティを抽出してみたい。 ・ネットワークの中にある局所的に繋がりが密な集団をコミュニティと呼ぶらしく、ネットワークの中か…

【Python】相関ネットワークの図を描きたい②

・お題:いろいろな変数の数値データが入った表を入手した。変数の相関関係からグラフを描きたい。 ・やりたいことは先日と同じだけれど、今回はnetworkxの描画をもう少し工夫してみた。以下のサイトを参考にさせて頂いた。 qiita.com ・とりあえず、データ…

【Python】辞書のバリューでキーをとってきたい

・お題:諸般の事情で、辞書型のvalueから対応するkeyをとって来る必要が出てきた。やってみたい。 ・きっともっとエレガントなやり方があると思うが、私なりに考えてみた。 ・とりあえず、辞書を作成する。 Dic1={"A":"a", "B":"b", "C":"c", "D":"c"} ・こ…

【Python】相関のネットワークの図を描きたい

・お題:それぞれの変数に関して、相関係数をもとに、ネットワーク図を描いてみたい。 ・変数間の相関係数をもとにネットワークを描くことがあるらしい。偽相関の懸念や因果関係を表すわけではないなどの注意点があるが、せっかくなのでやってみたい。 ・と…

【Python】Pyvisでインタラクティブなネットワーク図を描いてみたい

・お題:先日、networkxを使ってエッジリストからネットワーク図を描いてみた。エッジが見づらいことがあったので、インタラクティブにグラフを動かせるようにしたい。 ・調べてみると、pyvisというライブラリでインタラクティブなネットワークグラフを描け…

【Python】エッジリストからネットワーク図を描きたい

・お題:どのノードからどのノードにエッジが伸びているかと、そのエッジのウェイトが入っている表(エッジリスト)を入手した。ここから、ネットワーク図を描いてみたい。 ・neoworkxを利用した。 networkx.org ・まずはエッジリストを適当に作成する。 imp…

【Python】文章からStop wordsを除きたい

・お題:以前、文章の特徴を解析しようと思い、文章を数値化した。aやtheなどのあまり意味の無い単語がたくさん出てきて、解析の邪魔になるので、除きたい。 ・自然言語解析であまり使われない代名詞や冠詞などのことを、stop wordsと呼び、前処理として除か…

【Python】PubMedからアブストを引っ張ってきたい

・お題:論文のアブストを題材に自然言語処理で遊ぼうと思ったところ、アブストを集めるのが面倒だった。キーワードからアブストを集めるところを、Pythonにやってほしい。 ・少し調べたところ、biopythonでできるらしい。正しいことは公式サイトをご確認い…

【Python】文章の類似度を算出したい

・お題:文章がたくさんある中で、自分が気になる文章と似ている文章を探したい。cos類似度というやつを使って、類似度をランキングしてみたい。 ・先日、文章をその中に含んでいる単語で数値化して表現した。今回は、その数値化された文章を使って、cos類似…

【Python】文章を数値で表したい。

・お題:文章同士の関係を評価する際に、まずは文章を数値で表現することがあるらしい。今回は、TF-IDFというやつで文章を数値で表現してみたい。 ・以下のサイトを参考にさせて頂いた。正確なことはそちらをご参照いただきたい。 www.takapy.work qiita.com…

【Python】化合物情報をプロットして、カーソルを乗せると構造がホバーするようにしたい

・お題:化合物のいろいろな特徴をプロットしたグラフを作成したが、構造が見づらいので、マウスオンで構造がホバーするようにしたい。 ・とりあえず、データセットを落とす。今回は、ChEMBLからデータセットを拝借した。 www.ebi.ac.uk ・Assayから適当な実…

【Python】散布図でプロットにカーソルを合わせると画像がホバーするようにしたい

・お題:先日、画像を散布図上に表示したが、プロットが多いとどうしても画像とプロットが被ってしまい、とても見づらい。プロットにカーソルを合わせると画像がホバーする仕様にしたい。 ・以下のサイトを参考にさせて頂いた。正しいことは以下のサイトをご…

【Python】散布図に矢印で画像を表示したい。

・お題:散布図を描いたところ、画像をデータとして反映させたくなった。矢印で散布図に対応する画像を表示させたい。 ・画像はIcooonmonoから拝借した。png画像として落とし、ワーキングディレクトリに保存した。 icooon-mono.com ・画像情報を矢印で追加す…