KNIMEとか倉庫

KNIMEやEXCELなどの備忘録です。

Tips

【R】パイプ演算子を学びたい

・お題:パイプ演算子というやつを使うと、分かりやすいコードが書けるらしい。どんなものか、体験してみたい。 ・先日Tidyverseを調べた際に、dplyrパッケージのチートシートにpipesという記述があった(以下)。 github.com ・pipesは日本語でパイプ演算子…

【R】処理を速くしてみたい

・お題:Rでfor文を使うと処理が遅いので、for文を使わずに処理を速くしてみたい。 ・以下のサイトを参考にさせて頂いた。 book.mynavi.jp ・とりあえず、以前のようにfor文で処理を記載してみる。1から1億まで整数を二乗して足してもらった。 > m=0> tic()>…

【R】処理時間を計測してみたい

・お題:処理にかかった時間を取得したい。 ・tictocという可愛らしい名前のパッケージを使ってみる。以下を参照した。 qiita.com ・install.packages("tictoc")でパッケージをインストール。 ・tictocを起動し、参考通りに実行してみる。tic()とtoc()で処理…

【R】繰り返し処理してみたい。

・お題:for文やwhile文を使って、繰り返し処理をしてみたい。 ・for文を使ってみる。1から10まで足し算することを考える。Pythonで書くとこんな感じ。rangeはわざわざリスト化する必要はないけれど、Rと似たような感じにしたくてリストにしてみた。list(ran…

【R】ggplot2で作図してみたい

・お題:先日インストールしたパッケージ群tidyverseに、ggplot2というグラフを作成するパッケージが入っていた。ggplot2でいろいろ作図してみたい。 ・以下のサイトを参考にさせて頂いた。非常に丁寧に解説なさっているので、ぜひそちらをご参照いただきた…

【R】Tidyverseに関するメモ

・お題:Pythonもそうだけれど、Rでは便利機能を備えたソフトウェアをインストールすることで、機能を拡張することができる。少し調べてみたところ、データサイエンスやりたいならとりあえずTidyverseというパッケージ集をインストールしておくと便利らしい…

【R】データの型を確認したり変更したりしたい

・お題:データの型が合わないと、うまく処理してくれない。データの型の確認方法や、変更方法をメモしておきたい。 ・とりあえず、オブジェクトを作ってみる。 > a<-1> b<-"2" ・それぞれのオブジェクトの型を確認する。Rではclass関数で出てくるっぽい。も…

【R】data.frameを直接弄ったりしたい

・お題:data.frameを直接弄ったりしてみたい。 ・とりあえず、data.frameを作成する。 > col1<-c(1,2,3,4)> col2<-rnorm(4,10,2)> col3<-sample(c("a","b"),4,replace = TRUE)> df=data.frame(col1,col2,col3)> df col1 col2 col31 1 11.516636 a2 2 14.030…

【R】数値データを作りたい

・お題:いろいろやってみたいときに、イメージするサンプルデータをテキパキ作れるとたぶん便利。数値データを作ってみたい。 ・好きに数値を入力したい。 > c(1,3,6,10)[1] 1 3 6 10 ・決まった数値を反復させたいときは、repを使う。例えば、1,2,3,1,2,3.…

【R】Rの使い方メモ③(ディレクトリとかファイル)

・お題:ディレクトリ関連のメモ。随時追加。 ・ワーキングディレクトリの取得。 > getwd()[1] "C:/Users/xxxxx/Documents" ・ワーキングディレクトリの設定。例えば、デフォルトのディレクトリ中にRというフォルダ中の20230101というフォルダに設定。 >setw…

【R】Rの使い方メモ②(データフレーム)

・お題:Rの基本的な使い方に関して、長くなったので分けて記載することにした。今回はデータフレーム関連。思いついたら随時追加していきたい。 ・とりあえず、csvを読み込む。 > df<-read.csv("test.csv")> df ID Name Nenshu Shusshin1 a Tanaka 300 Toky…

【R】Rの使い方メモ①

・お題:データ分析をするのにRを使いたいのだけれど、私の頭はザルなので、全然頭に残らない。そこで、使い方を簡単にメモしておきたい。 ・Rの導入 基本的なことは以下のサイトに網羅されている。感謝。RとRStudioを放り込んで、環境を構築した。 htsuda.n…

【Python】DataFrameから特定のデータ型の列だけ取り出したい

・お題:PandasのDataFrameを入手した。このDataFrameから特定のデータ型の列だけ抜き出したい。 ・Pandasの公式にやり方が書いてあった。正しいことはそちらをご確認いただきたい。 pandas.pydata.org ・とりあえずデータフレームを作成する。今回は、スポ…

【Python】DataFrameから条件に合うデータを抜き出したりしたい

・お題:DataFrameを入手した。ここから、気になるデータを抽出したりしたい。 ・PandasのDataFrameで特定のデータを抽出したりできるとうれしい。 ・データセットを作成する。 import pandas as pdimport numpy as npimport random df=pd.DataFrame({"Age":…

【Python】ショートカットキーを覚えたい。

・お題:Jupyter Labでショートカットの使い方を覚えたい。 ・調べてみると、Jupyter Labにもショートカットキーがある。以下の記事でまとめられていたので、少しピックアップしてみた。 ・詳しいことは元記事を見ていただきたい。 qiita.com ・元記事ではた…

【Python】condaで仮想環境を構築したい

・お題:condaで仮想環境を構築したい。 ・仮想環境を構築する際に、毎回調べるのが面倒なので、メモしておく。上から順番に実行すれば、たぶんそれっぽい環境が構築できる。 ・現在の仮想環境を確認conda info -e ・python=3.7で環境構築conda create -n my…

【Python】PandasのDataFrameをいくつも表示したい

・お題:PandasのDataFrameはJupyter Notebookでセルを抜けるときに綺麗に表示してくれる。いくつも表示したいときにprint関数を使うと、なんだか見た目が違うので、いつもの表示をいくつもしたい。 ・DataFrameを作成する。 df=pd.DataFrame({"A":[1,2,3],"…

【Python】日付の揺れを統一したい

・お題:PandasのDataframeで日付を含む表を入手したものの、日付の表記が様々ある。統一したい。 ・DataFrameを作成する。 import pandas as pda1=["2022/1/1","2022/01/01","2022.1.1","2022.01.01","2022-1-1","2022-01-01"]df1=pd.DataFrame(a1,columns=…

【Python】正規表現で文字列を抜き出したい

・お題:長い文字列の中から、条件にあてはまる文字列を抜き出したい。 ・先日メモした正規表現を使う。とりあえず、ライブラリをインポート。 import re ・例文を作成。 mojiretsu="私の名前は田中たろうです。私は1900年10月1日生まれです。生まれはA県、…

【その他】よく使う正規表現を纏めたい

・たまに正規表現を使うのだけれど、毎度調べるのが大変なので、よく使う表現を何パターンかメモしておく。おかしかったらごめんなさい。 ・日付(例:2022年10月1日):[0-9]{1,4}年[0-9]{1,2}月[0-9]{1,2}日 [0-9]は半角数字。{}で何回繰り返してるか指定…

【Python】フォルダの情報を確認したい

・お題:フォルダの中身をひとつひとつ確認するのが大変なので、情報を纏めてとってきたい。 ・ちょっと便利だったので、メモしておく。 ・カレントディレクトリ直下に"test1"というフォルダがあったとして、そのフォルダの階層構造を確認したいとする。 ・j…

【Python】dataframeを数字に変換したい。

・お題:pandasのdataframeで、本来数字が入るべきところにエラーの文字列が入っており、無視したいのに数字として処理できない。文字列をNaNに変換し、数字として扱いたい。 ・データセットを作成する。 import pandas as pddf=pd.DataFrame({"A":[1,2,3,4,…

【Python】データで計算したい

・お題:DataFrameのデータを使って、集計など、何らか計算したい。 ・DataFrameが与えられて、何等か計算したいとする。そのような場合には、pandasのapplyメソッドが便利。 ・まずはデータセットを作成する。 import numpy as npimport pandas as pd a=np.…

【Python】複数のヒストグラムをいい感じに並べたい

・お題:いろいろなヒストグラムを分かりやすく並べて描画したい。 ・ヒストグラムは分布をみるのに便利だけれど、たくさん描くと見づらくなってしまう。そこで、良い感じに複数のヒストグラムを並べて描画できないか、少し調べてみた。 ・とりあえず、データ…

【Python】表を縦長にしたい

・お題:マトリックスになっている表を、リスト形式に変形したい。 ・表の形式として、マトリックス形式とリスト形式というやつがあるらしい。 マトリックス形式が以下の形式で、プレートマップのような感じ。 対して、それぞれの要素を縦に並べたような表を…

【Python】DataFrameをマルチにまとめたい

・お題:複数のDataFrameを纏めて、マルチインデックスやマルチカラムの一つのDataFrameとして扱いたい。 ・pandasのDataFrameの扱い方がよく分からなかったので、少し調べてみた。すぐ忘れるので、メモしておく。 ・とりあえず、csvをDataFrameとして読み込…

【Python】マルチカラムから列をとってきたい

・お題:マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値、中央値、最大値、最小値を一つの表に作成し、そこからデータを切り出すことで、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4…

【Python】boolean型でifしたい

・お題:boolean型の変数を使って、ifの条件分岐をしたい。 ・boolean型は、True/Falseを示す型のことらしい。 ・a=Trueとすれば、aにTrueというboolean変数が入った状態になる。また、Trueはintの1、Floatの1.0、strの"True"に対応しており、Falseはintの0…

【EXCEL】文字列として認識されている数字を数値で認識させたい

・EXCELで数字を弄っていると、たまに数字が文字列として認識されてしまい、その後の処理ができなくなる場合がある。セルを一つずつアクティブにして数値とにして認識させることもできるが、面倒くさい(例は下図)。 ・一気に数値に変換する方法をメモして…

【KNIME】相対パスでデータを読み込みたい

・KNIMEでいろいろワークフローを作成していると、データの保存場所に対してアクセス権のないPCではワークフローが使えないなどのトラブルが起こる。 ・対処方法の一案として、相対パスでアクセスするという手がある。 ・以降、参照ファイルの場所などは、あ…