KNIMEとか倉庫

KNIMEやEXCELなどの備忘録です。

【Python】dataframeを数字に変換したい。

・お題:pandasのdataframeで、本来数字が入るべきところにエラーの文字列が入っており、無視したいのに数字として処理できない。文字列をNaNに変換し、数字として扱いたい。 ・データセットを作成する。 import pandas as pddf=pd.DataFrame({"A":[1,2,3,4,…

【Python】平均値の棒グラフに個別値もプロットしたい

・お題:A、B、C及びDの4つの試験条件で、実験をしたところ、10個ずつデータを得ることができた。各試験条件ごとに、平均値を棒グラフで示し、ついでに個別値もプロットしたい。 ・これまでEXCELで似たようなことをやっていたが、jitterの設定ができず、個別…

【Python】データで計算したい

・お題:DataFrameのデータを使って、集計など、何らか計算したい。 ・DataFrameが与えられて、何等か計算したいとする。そのような場合には、pandasのapplyメソッドが便利。 ・まずはデータセットを作成する。 import numpy as npimport pandas as pd a=np.…

【Python】複数のヒストグラムをいい感じに並べたい

・お題:いろいろなヒストグラムを分かりやすく並べて描画したい。 ・ヒストグラムは分布をみるのに便利だけれど、たくさん描くと見づらくなってしまう。そこで、良い感じに複数のヒストグラムを並べて描画できないか、少し調べてみた。 ・とりあえず、データ…

【Python】ベン図を描きたい

・お題:ベン図を描きたい。細かい設定なしで、集合を放り込むだけで、勝手にベン図を描いてくれると尚良い。 ・少し調べてみたところ、ベン図を描画できるライブラリがあった。matplotlib-vennというライブラリ。pip install matplotlib-vennでインストール…

【Python】dataframeの列名やインデックスをまとめて変えたい。

・お題:DataFrameを作成したが、列名やインデックスに問題がある。置換したり、一括で変えたり、接尾辞を加えたり、いろいろとうまいこと変更したい。 ・とりあえず、dataframeを作成する。 import pandas as pddic={"A":[1,2,3], "B":[4,5,6], "C":[7,8,9]…

【Python】表を縦長にしたい

・お題:マトリックスになっている表を、リスト形式に変形したい。 ・表の形式として、マトリックス形式とリスト形式というやつがあるらしい。 マトリックス形式が以下の形式で、プレートマップのような感じ。 対して、それぞれの要素を縦に並べたような表を…

【Python】DataFrameをマルチにまとめたい

・お題:複数のDataFrameを纏めて、マルチインデックスやマルチカラムの一つのDataFrameとして扱いたい。 ・pandasのDataFrameの扱い方がよく分からなかったので、少し調べてみた。すぐ忘れるので、メモしておく。 ・とりあえず、csvをDataFrameとして読み込…

【Python】マルチカラムから列をとってきたい

・お題:マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値、中央値、最大値、最小値を一つの表に作成し、そこからデータを切り出すことで、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4…

【Python】平均値を算出してグラフにしたい

・お題:マウスに試験物質を連投したところ、以下の体重データが得られた。各処置条件の平均値を、経日的なグラフで示したい。 データ Compound Dose No Day0 Day1 Day2 Day3 Day4 Day5 Day6 Day7 A 1 1 25.9 25.9 26.1 26.9 27.8 28.6 28.9 29.3 A 1 2 25.2…

【Python】scikit-learnで欠損値を補完したい。

・お題:欠損値を補完したい。 ・前回、主にpandasを用いて欠損値を数えたり削除したり何らかの定数で補完する方法を少し調べた。 ・今回は、scikit-learnでもうちょっと頑張って欠損値を補完したい。 ・とりあえず、データセットを作る。 import pandas as …

【Python】欠損値を何とかしたい

・お題:データセット中の欠損値の有無などを調べて、何とかしたい。 ・入手したデータが、端から端までピッチリ埋まっていることは、実験データを収集するうえで期待できない場合が多い。入手したデータセットの欠損値に関して情報を得て、何とかしたい。 …

【KNIME】構造情報を一覧で見やすくしたい

・先日、Tile Viewで情報を見やすく成型したが、構造情報をうまく表示することができなかった。 ・Tile Viewは対応するセルの情報をカードに出力してくれるのだから、画像データをそのまま渡せばよいのでは?と思って調べたところ、SMILESの構造情報を画像と…

【Python】boolean型でifしたい

・お題:boolean型の変数を使って、ifの条件分岐をしたい。 ・boolean型は、True/Falseを示す型のことらしい。 ・a=Trueとすれば、aにTrueというboolean変数が入った状態になる。また、Trueはintの1、Floatの1.0、strの"True"に対応しており、Falseはintの0…

【KNIME】フォルダ中の複数のファイルを統合したい

・化合物を評価していると、諸般の事情で同じ化合物を異なるアッセイ系で評価することがあるし、担当部署やプロジェクトによって評価結果のファイルが個別に構築されることがある。化合物IDは同じだが、保存されているファイルごとに、評価項目がバラバラに…

【EXCEL】文字列として認識されている数字を数値で認識させたい

・EXCELで数字を弄っていると、たまに数字が文字列として認識されてしまい、その後の処理ができなくなる場合がある。セルを一つずつアクティブにして数値とにして認識させることもできるが、面倒くさい(例は下図)。 ・一気に数値に変換する方法をメモして…

【KNIME】相対パスでデータを読み込みたい

・KNIMEでいろいろワークフローを作成していると、データの保存場所に対してアクセス権のないPCではワークフローが使えないなどのトラブルが起こる。 ・対処方法の一案として、相対パスでアクセスするという手がある。 ・以降、参照ファイルの場所などは、あ…

【KNIME】データの表を見やすくしたい

・化合物情報などを扱う際に、列名が冗長化したりして、視認性が悪くなる場合がある。そこで、冗長なところを纏めつつ、表をTile Viewで視認性良く表示するワークフローを作成した。 ・入力データは以下の表(化合物のID、分子量、IC50(_等号・不等号、_値…

【Python】文字列に変数を埋め込みたい

・お題:文字列に変数を埋め込みたい。・printを使うと引数の文字列を表示することができる。表示する文字列の中に変数を埋め込みたい場合、f文字列というのを使うことが多いらしい。 ・とりあえず埋め込む。 a="りんご" b="ぶどう" を実行した後に、 print(f…

【EXCEL】順位を指定して数値を返したい

・EXCELで、最大値であればmax関数、最小値であればmin関数で返すことができる。 ・3番目に大きい数や3番目に小さい数など、順位を指定して数値を返すにはどうすれば良いか調べてみたところ、large関数とsmall関数が用意されていた(下図、見返すと範囲が間…

【Python】用語が分からない「メソッド」「モジュール」「ライブラリ」「パッケージ」

・Pythonを弄っていて見聞きする言葉の意味が、素養のない私の頭には全く入らないので、ググって私なりに解釈してみた。厳密な意味での解釈からは程遠いことを前提に、実務的に区別することを目標にした。・今回は、「メソッド」「モジュール」「ライブラリ…

【Python】リストを辞書に変換したい

・お題:リストを辞書に変換したい。 ・いくつかのデータを纏めて管理するデータ型として、Pythonにはリストをはじめとするいくつかの型が用意されている。 ・リスト([a,b,c,d]みたいなやつ)からデータを引っ張ってくるには、リストの何番目のデータをとっ…

【Python】無名関数を使いたい

・お題:無名関数を使えるようになりたい。 ・Pythonでは、必要に応じて関数を組んで処理を回すことがある。defを使って書くほどもない関数を、簡単に記述する際に無名関数というやつを使うらしい。 ・defで定義して特に不自由することはないと思うけれど、…

【Python】データを一気に眺めたい

・お題:データを眺めるのに、グラフを一つ一つ作成するのが面倒なので、一気に作成したい。 ・データを扱うすごい人は、データを入手した際に、データの特徴を把握するためにいろいろな角度から眺めるらしい。これは探索的データ分析(EDA)と呼ばれ、とて…

【Python】綺麗なグラフを簡単に作りたい。

・お題:綺麗なグラフを簡単に作成し、データの分布や関係を見たい。 ・ややこしいコマンドを書かず、とにかく綺麗なグラフで変数の関係を一目で分かるようにしたい。一つ一つのグラフを作成するなら、seabornというライブラリがとても便利。聞きなれないプ…

【Python】動くグラフを作りたい

・お題:動くsinカーブのグラフを作成したい。 ・少し調べてみたところ、matplotlib.animationのArtistAnimationとFuncAnimationという機能でグラフを動かせるらしい。 ・まずArtistAnimationを使う。こちらは、紙芝居形式で、グラフを次々と表示させること…

【Python】グラフを描きたい

・お題:y=sinXとy=cosXのグラフを描きたい。 ・「python グラフ」などで検索すれば情報がたくさん出てくる。しかし、素養のない私のような人間は、すぐにやり方を忘れてしまうし、思い出すにも時間がかかる。そこで、ミニマムパッケージのグラフの書き方を…

【Python】辞書を参考にしてリストの値を置換したい。

・お題:辞書を参考にしてリストの値を置換したい。もし辞書にないキーがリストに現れたら、据え置きしたい。 ・例えば、何が売れたかのリストがあるとする。 Lis=["りんご","ぶどう","みかん","みかん","ばなな"] ・これに対して、品目を値段に置換し、値段…

【Python】リスト内包表記でFizzBuzzしたい

・お題:リスト内包表記の条件分岐でFizzBuzzしたい。 ・FizzBuzz問題は、ある数列に対して、3の倍数だとFizz、5の倍数だとBuzz、15の倍数だとFizzBuzzを返す条件分岐の問題のこと。今回は、1~100までの整数に関して実施することを考える。 ・リスト内包表…

【Python】引数までの素数を算出する関数を作りたい

・お題:引数までの素数をリスト形式で出力する関数を作成したい。 ・エラトステネスの篩のアルゴリズムを参考にしてみる。 ja.wikipedia.org ・2から指定の数までの自然数のリストを作成し、そこから素数でないもの(割り切れてしまったもの)を除外するこ…