いろいろ倉庫

KNIME、EXCEL、R、Pythonなどの備忘録

Python

【Python】表からインタラクティブにグラフを作りたい

・お題:表からインタラクティブにグラフを作りたい。 ・pixiedustというライブラリを使ってみた。正しいことは以下をご確認いただきたい。 pixiedust.github.io ・とりあえず、pixiedustをインストールした。試しにインポートしたところ、jinja2でエラーが…

【Python】簡単にGUIを作りたい

・お題:ポップアップしたウィンドウで、変数を入力したりしたい。 ・Easy GUIというライブラリが少し調べた限りでは一番簡単だった。正しいことは以下を参照いただきたい。 EasyGui Tutorial — easygui 0.97 (2014-12-20) documentation ・インストールがす…

【Python】ショートカットキーを覚えたい。

・お題:Jupyter Labでショートカットの使い方を覚えたい。 ・調べてみると、Jupyter Labにもショートカットキーがある。以下の記事でまとめられていたので、少しピックアップしてみた。 ・詳しいことは元記事を見ていただきたい。 qiita.com ・元記事ではた…

【Python】condaで仮想環境を構築したい

・お題:condaで仮想環境を構築したい。 ・仮想環境を構築する際に、毎回調べるのが面倒なので、メモしておく。上から順番に実行すれば、たぶんそれっぽい環境が構築できる。 ・現在の仮想環境を確認conda info -e ・python=3.7で環境構築conda create -n my…

【Python】DataFrameをEXECELファイルにシートとして追加したい。

・お題:DataFrameをEXCELファイルとして出力したい。できれば、既存のファイルにシートを付け足す感じで出力したい。 ・前提として、pandasとopenpyxlが使える状態であるとする。 ・DataFrameを作成する。 import pandas as pddf=pd.DataFrame({"A":[1,2,3]…

【Python】EXCEL表の特定の範囲をDatFrameにしたい。

・お題:EXCELからデータを抜き出したいが、EXCELの形式上、特定領域に読みたい表がある。領域を指定して表を読み込みたい。 ・以下のEXCELファイルから、NameとScoreの表だけ抜き出してDataFrameにしたい。 ・まず、ライブラリopenpyxlをインストールする。…

【Python】PandasのDataFrameをいくつも表示したい

・お題:PandasのDataFrameはJupyter Notebookでセルを抜けるときに綺麗に表示してくれる。いくつも表示したいときにprint関数を使うと、なんだか見た目が違うので、いつもの表示をいくつもしたい。 ・DataFrameを作成する。 df=pd.DataFrame({"A":[1,2,3],"…

【Python】日付の揺れを統一したい

・お題:PandasのDataframeで日付を含む表を入手したものの、日付の表記が様々ある。統一したい。 ・DataFrameを作成する。 import pandas as pda1=["2022/1/1","2022/01/01","2022.1.1","2022.01.01","2022-1-1","2022-01-01"]df1=pd.DataFrame(a1,columns=…

【Python】インタラクティブな散布図を描きたい

・お題:indexにサンプル名、Xにx軸データ、Yにy軸データが入ったpandasのDataFrameを入手した。これで散布図を描きたいのだが、カーソルをプロットに乗せるとサンプル名とx,yの情報が出るようなインタラクティブな仕様にしたい。 ・PythonのDash(というかp…

【Python】フォルダの情報を確認したい

・お題:フォルダの中身をひとつひとつ確認するのが大変なので、情報を纏めてとってきたい。 ・ちょっと便利だったので、メモしておく。 ・カレントディレクトリ直下に"test1"というフォルダがあったとして、そのフォルダの階層構造を確認したいとする。 ・j…

【Python】ベン図に要素も表示したい

・お題:Pythonでベン図を描画したい。今回は、要素も分かるように表示したい。 ・以前、Pythonでベン図を描いた。ただし、デフォルトの設定だと要素数は表示されるが、要素自体はよく分からない。ということで、要素を表示してみた。 ・今回は、動物園を作…

【Python】dtreevizで決定木を可視化したい

・お題:決定木を、dtreevizというライブラリで、分かりやすく可視化したい。 ・決定木は判断根拠が分かりやすいアルゴリズムで、最終的な分類結果だけではなく、その判断プロセスを確認できる点で重宝されることが多い。 ・例えばIrisデータセットを決定木…

【Python】p値を補正したい

・お題:多重検定したので、p値を補正したい。 ・多重比較検定をすると、familywise error rateが上昇してしまうことが知られている。詳しくは以下を参照。 www.med.osaka-u.ac.jp ・そこで、得られたp値を補正したい。 ・Pythonでp値を補正するには、statsm…

【Python】相関係数を求めたりヒートマップを描いたりしたい

・お題:pandasのDataFrameで得られた連続変数に関して、columnごとの相関係数を求めて、ヒートマップを作成したい。 ・とりあえず、データセットを作成する。 import numpy as npimport pandas as pddf=pd.DataFrame(np.random.random(20).reshape(5,4), co…

【Python】t検定してみたい

・お題:Pythonを使ってt検定してみたい。pingouinという統計のライブラリを使ってみたい。 ・統計といえばR、というイメージがあるが、今回はPythonで統計をやってみたい。また、Scipyではなく、pingouinというライブラリ(以下リンクを参照。pip install p…

【Python】dataframeを数字に変換したい。

・お題:pandasのdataframeで、本来数字が入るべきところにエラーの文字列が入っており、無視したいのに数字として処理できない。文字列をNaNに変換し、数字として扱いたい。 ・データセットを作成する。 import pandas as pddf=pd.DataFrame({"A":[1,2,3,4,…

【Python】平均値の棒グラフに個別値もプロットしたい

・お題:A、B、C及びDの4つの試験条件で、実験をしたところ、10個ずつデータを得ることができた。各試験条件ごとに、平均値を棒グラフで示し、ついでに個別値もプロットしたい。 ・これまでEXCELで似たようなことをやっていたが、jitterの設定ができず、個別…

【Python】データで計算したい

・お題:DataFrameのデータを使って、集計など、何らか計算したい。 ・DataFrameが与えられて、何等か計算したいとする。そのような場合には、pandasのapplyメソッドが便利。 ・まずはデータセットを作成する。 import numpy as npimport pandas as pd a=np.…

【Python】複数のヒストグラムをいい感じに並べたい

・お題:いろいろなヒストグラムを分かりやすく並べて描画したい。 ・ヒストグラムは分布をみるのに便利だけれど、たくさん描くと見づらくなってしまう。そこで、良い感じに複数のヒストグラムを並べて描画できないか、少し調べてみた。 ・とりあえず、データ…

【Python】ベン図を描きたい

・お題:ベン図を描きたい。細かい設定なしで、集合を放り込むだけで、勝手にベン図を描いてくれると尚良い。 ・少し調べてみたところ、ベン図を描画できるライブラリがあった。matplotlib-vennというライブラリ。pip install matplotlib-vennでインストール…

【Python】表を縦長にしたい

・お題:マトリックスになっている表を、リスト形式に変形したい。 ・表の形式として、マトリックス形式とリスト形式というやつがあるらしい。 マトリックス形式が以下の形式で、プレートマップのような感じ。 対して、それぞれの要素を縦に並べたような表を…

【Python】DataFrameをマルチにまとめたい

・お題:複数のDataFrameを纏めて、マルチインデックスやマルチカラムの一つのDataFrameとして扱いたい。 ・pandasのDataFrameの扱い方がよく分からなかったので、少し調べてみた。すぐ忘れるので、メモしておく。 ・とりあえず、csvをDataFrameとして読み込…

【Python】マルチカラムから列をとってきたい

・お題:マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値、中央値、最大値、最小値を一つの表に作成し、そこからデータを切り出すことで、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4…

【Python】平均値を算出してグラフにしたい

・お題:マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値を、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4 Day5 Day6 Day7 A 1 1 25.9 25.9 26.1 26.9 27.8 28.6 28.9 29.3 A 1 2 25.2…

【Python】scikit-learnで欠損値を補完したい。

・お題:欠損値を補完したい。 ・前回、主にpandasを用いて欠損値を数えたり削除したり何らかの定数で補完する方法を少し調べた。 ・今回は、scikit-learnでもうちょっと頑張って欠損値を補完したい。 ・とりあえず、データセットを作る。 import pandas as …

【Python】欠損値を何とかしたい

・お題:データセット中の欠損値の有無などを調べて、何とかしたい。 ・入手したデータが、端から端までピッチリ埋まっていることは、実験データを収集するうえで期待できない場合が多い。入手したデータセットの欠損値に関して情報を得て、何とかしたい。 …

【Python】boolean型でifしたい

・お題:boolean型の変数を使って、ifの条件分岐をしたい。 ・boolean型は、True/Falseを示す型のことらしい。 ・a=Trueとすれば、aにTrueというboolean変数が入った状態になる。また、Trueはintの1、Floatの1.0、strの"True"に対応しており、Falseはintの0…

【Python】文字列に変数を埋め込みたい

・お題:文字列に変数を埋め込みたい。・printを使うと引数の文字列を表示することができる。表示する文字列の中に変数を埋め込みたい場合、f文字列というのを使うことが多いらしい。 ・とりあえず埋め込む。 a="りんご" b="ぶどう" を実行した後に、 print(f…

【Python】用語が分からない「メソッド」「モジュール」「ライブラリ」「パッケージ」

・Pythonを弄っていて見聞きする言葉の意味が、素養のない私の頭には全く入らないので、ググって私なりに解釈してみた。厳密な意味での解釈からは程遠いことを前提に、実務的に区別することを目標にした。・今回は、「メソッド」「モジュール」「ライブラリ…

【Python】リストを辞書に変換したい

・お題:リストを辞書に変換したい。 ・いくつかのデータを纏めて管理するデータ型として、Pythonにはリストをはじめとするいくつかの型が用意されている。 ・リスト([a,b,c,d]みたいなやつ)からデータを引っ張ってくるには、リストの何番目のデータをとっ…