・たまに正規表現を使うのだけれど、毎度調べるのが大変なので、よく使う表現を何パターンかメモしておく。おかしかったらごめんなさい。 ・日付（例：2022年10月1日）：[0-9]{1,4}年[0-9]{1,2}月[0-9]{1,2}日 [0-9]は半角数字。{}で何回繰り返してるか指定…

・お題：indexにサンプル名、Xにx軸データ、Yにy軸データが入ったpandasのDataFrameを入手した。これで散布図を描きたいのだが、カーソルをプロットに乗せるとサンプル名とx,yの情報が出るようなインタラクティブな仕様にしたい。 ・PythonのDash（というかp…

・お題：フォルダの中身をひとつひとつ確認するのが大変なので、情報を纏めてとってきたい。 ・ちょっと便利だったので、メモしておく。 ・カレントディレクトリ直下に"test1"というフォルダがあったとして、そのフォルダの階層構造を確認したいとする。 ・j…

・お題：Pythonでベン図を描画したい。今回は、要素も分かるように表示したい。 ・以前、Pythonでベン図を描いた。ただし、デフォルトの設定だと要素数は表示されるが、要素自体はよく分からない。ということで、要素を表示してみた。 ・今回は、動物園を作…

・見やすいスライドのポイントに関して、メモしておく。個人の好みが反映されているので、人によって答えは違うと思う。 ・デフォルトの色やフォントは、「デザイン」タブ⇒「バリエーション」のvをクリック⇒配色やフォントから設定できる。 ・色覚多様性に配…

・前の記事で、.svgファイルというやつが出てきたので、少し調べてみた。どうも、ベクトル？で画像を描画する形式の画像ファイルで、あとから色を変えられたり、いくら拡大しても画像が荒くならなかったりする特徴があるらしい。 ・発表スライドを作成する際…

・お題：決定木を、dtreevizというライブラリで、分かりやすく可視化したい。 ・決定木は判断根拠が分かりやすいアルゴリズムで、最終的な分類結果だけではなく、その判断プロセスを確認できる点で重宝されることが多い。 ・例えばIrisデータセットを決定木…

・お題：多重検定したので、p値を補正したい。 ・多重比較検定をすると、familywise error rateが上昇してしまうことが知られている。詳しくは以下を参照。 www.med.osaka-u.ac.jp ・そこで、得られたp値を補正したい。 ・Pythonでp値を補正するには、statsm…

・お題：pandasのDataFrameで得られた連続変数に関して、columnごとの相関係数を求めて、ヒートマップを作成したい。 ・とりあえず、データセットを作成する。 import numpy as npimport pandas as pddf=pd.DataFrame(np.random.random(20).reshape(5,4), co…

・お題：Pythonを使ってt検定してみたい。pingouinという統計のライブラリを使ってみたい。 ・統計といえばR、というイメージがあるが、今回はPythonで統計をやってみたい。また、Scipyではなく、pingouinというライブラリ（以下リンクを参照。pip install p…

・お題：pandasのdataframeで、本来数字が入るべきところにエラーの文字列が入っており、無視したいのに数字として処理できない。文字列をNaNに変換し、数字として扱いたい。 ・データセットを作成する。 import pandas as pddf=pd.DataFrame({"A":[1,2,3,4,…

・お題：A、B、C及びDの4つの試験条件で、実験をしたところ、10個ずつデータを得ることができた。各試験条件ごとに、平均値を棒グラフで示し、ついでに個別値もプロットしたい。 ・これまでEXCELで似たようなことをやっていたが、jitterの設定ができず、個別…

・お題：DataFrameのデータを使って、集計など、何らか計算したい。 ・DataFrameが与えられて、何等か計算したいとする。そのような場合には、pandasのapplyメソッドが便利。 ・まずはデータセットを作成する。 import numpy as npimport pandas as pd a=np.…

・お題:いろいろなヒストグラムを分かりやすく並べて描画したい。 ・ヒストグラムは分布をみるのに便利だけれど、たくさん描くと見づらくなってしまう。そこで、良い感じに複数のヒストグラムを並べて描画できないか、少し調べてみた。 ・とりあえず、データ…

・お題：ベン図を描きたい。細かい設定なしで、集合を放り込むだけで、勝手にベン図を描いてくれると尚良い。 ・少し調べてみたところ、ベン図を描画できるライブラリがあった。matplotlib-vennというライブラリ。pip install matplotlib-vennでインストール…

・お題：DataFrameを作成したが、列名やインデックスに問題がある。置換したり、一括で変えたり、接尾辞を加えたり、いろいろとうまいこと変更したい。 ・とりあえず、dataframeを作成する。 import pandas as pddic={"A":[1,2,3], "B":[4,5,6], "C":[7,8,9]…

・お題：マトリックスになっている表を、リスト形式に変形したい。 ・表の形式として、マトリックス形式とリスト形式というやつがあるらしい。 マトリックス形式が以下の形式で、プレートマップのような感じ。 対して、それぞれの要素を縦に並べたような表を…

・お題：複数のDataFrameを纏めて、マルチインデックスやマルチカラムの一つのDataFrameとして扱いたい。 ・pandasのDataFrameの扱い方がよく分からなかったので、少し調べてみた。すぐ忘れるので、メモしておく。 ・とりあえず、csvをDataFrameとして読み込…

・お題：マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値、中央値、最大値、最小値を一つの表に作成し、そこからデータを切り出すことで、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4…

・お題：マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値を、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4 Day5 Day6 Day7 A 1 1 25.9 25.9 26.1 26.9 27.8 28.6 28.9 29.3 A 1 2 25.2…

・お題：欠損値を補完したい。 ・前回、主にpandasを用いて欠損値を数えたり削除したり何らかの定数で補完する方法を少し調べた。 ・今回は、scikit-learnでもうちょっと頑張って欠損値を補完したい。 ・とりあえず、データセットを作る。 import pandas as …

・お題：データセット中の欠損値の有無などを調べて、何とかしたい。 ・入手したデータが、端から端までピッチリ埋まっていることは、実験データを収集するうえで期待できない場合が多い。入手したデータセットの欠損値に関して情報を得て、何とかしたい。 …

・先日、Tile Viewで情報を見やすく成型したが、構造情報をうまく表示することができなかった。 ・Tile Viewは対応するセルの情報をカードに出力してくれるのだから、画像データをそのまま渡せばよいのでは？と思って調べたところ、SMILESの構造情報を画像と…

・お題：boolean型の変数を使って、ifの条件分岐をしたい。 ・boolean型は、True/Falseを示す型のことらしい。 ・a=Trueとすれば、aにTrueというboolean変数が入った状態になる。また、Trueはintの1、Floatの1.0、strの"True"に対応しており、Falseはintの0…

・EXCELで数字を弄っていると、たまに数字が文字列として認識されてしまい、その後の処理ができなくなる場合がある。セルを一つずつアクティブにして数値とにして認識させることもできるが、面倒くさい（例は下図）。 ・一気に数値に変換する方法をメモして…

・KNIMEでいろいろワークフローを作成していると、データの保存場所に対してアクセス権のないPCではワークフローが使えないなどのトラブルが起こる。 ・対処方法の一案として、相対パスでアクセスするという手がある。 ・以降、参照ファイルの場所などは、あ…

・化合物情報などを扱う際に、列名が冗長化したりして、視認性が悪くなる場合がある。そこで、冗長なところを纏めつつ、表をTile Viewで視認性良く表示するワークフローを作成した。 ・入力データは以下の表（化合物のID、分子量、IC50（_等号・不等号、_値…

・お題:文字列に変数を埋め込みたい。・printを使うと引数の文字列を表示することができる。表示する文字列の中に変数を埋め込みたい場合、f文字列というのを使うことが多いらしい。 ・とりあえず埋め込む。 a="りんご" b="ぶどう" を実行した後に、 print(f…

・EXCELで、最大値であればmax関数、最小値であればmin関数で返すことができる。 ・3番目に大きい数や3番目に小さい数など、順位を指定して数値を返すにはどうすれば良いか調べてみたところ、large関数とsmall関数が用意されていた（下図、見返すと範囲が間…

・Pythonを弄っていて見聞きする言葉の意味が、素養のない私の頭には全く入らないので、ググって私なりに解釈してみた。厳密な意味での解釈からは程遠いことを前提に、実務的に区別することを目標にした。・今回は、「メソッド」「モジュール」「ライブラリ…