いろいろ倉庫

KNIME、EXCEL、R、Pythonなどの備忘録

【KNIME】Missing Valueのある列または行を丸ごと消したい

・Missing ValueのあるTableを処理する際に、何らかの方法でこの穴に対処する必要がある(例えば以下のTable)。

f:id:choron81:20220402094909p:plain

・数値が何等か予想できるのであれば予測値で埋めることもできると思う。群内の欠損地であれば、平均値や中央値で補うこともあるかもしれない。順番になっているのであれば、前の値または後の値を代入したり、前後の平均値を代入する場合もあると思う。

・しかし、最も手っ取り早いのが、データまたは変数を除去してしまう方法だと思う。

・調べてみると、データを除去する場合と変数を除去する場合で使うノードが違ったので、メモしておく。

・Missing Valueの含まれる行を消す例(下図。左の窓は元のデータ。右下の窓は出力。変数3を標的に、Missing Valueが含まれる行を除去)。

f:id:choron81:20220402094436p:plain

・Row FilterノードとMissing Valueノードの設定は以下の通り(上がRow Filter、下がMissing Valueの設定)。

f:id:choron81:20220402094713p:plain

f:id:choron81:20220402094745p:plain

・Missing Valueの含まれる列を消す例(下図。左の窓は元のデータ。右の窓は出力。すべての変数に関して、Missing Valueが含まれる列を除去)。

f:id:choron81:20220402095142p:plain

・Missing Value Column Filterの設定は以下の通り。ちなみに、Missing Value Thresholdをゼロにすると、すべての列が消える。

f:id:choron81:20220402095413p:plain

・前処理に使えそう。

 

終わり。