・文字列をKNIMEで弄る際に、アルファベットを大文字又は小文字に統一したい場合がある。 ・そのような場合は、String Manipulationで変換可能できる（下図）。 ・大文字に変換したい場合はupperCase関数、小文字に変換したい場合はlowerCase関数を使用する…

・先に、散布図のプロットを綺麗に塗り分けたが、円グラフも綺麗に塗り分けたいと思った。 ・これもColor ManagerでRowにつけた色で塗ることができるのだが、Scatter Plotとは違ってデフォルトでは駄目らしい。 ・Pie/Donut Chartノードの設定を少し弄り、Us…

・関数でグラフを描く方法が分からなかったので、少し調べてワークフローを作成した（下図）。 ・工程としては、 ① 適当な表を作成（データは何でも良い。列名はXでデータ型はDouble） ② 空の行を追加（例えば100行。下図） ③ 行番号を抽出して10で割って、0…

・散布図のプロットを良い感じの色合いで表現したい場合がある。 ・例えば、ある変数AとBを軸に取った散布図を描いた際に、更に別の変数Cをプロットの色の違いで表現したい場合など。 ・そのような場合には、Color Managerというノードが役に立つ。 ・Table …

・KNIMEで散布図を描く際に、ノードを"scatter"で検索すると、いくつも引っ掛かった。それぞれどう違うのか、メモしておく。 ・適当なTableを作成し、Scatter Plotノードを3種類くっつけてRunしてみた（下図）。 ・グラフを表示するには、散布図ノードを右ク…

・データを弄っていると、2つの値の大小で場合分けしたくなることがある。 ・例えば、生徒のうち、国語のテストの点数が算数のテストの点数よりも高い生徒を抽出する、など。 ・そのような場合には、列の値を比較し、情報を与えるノード（Column Comparator…

・シルエット図を描きたくて、少し調べてみた。 ・以下の構成で、それっぽいグラフを描くことができた。ちなみに、k=3で、直観的にはそこそこ綺麗に分けられる筈。 ・少々癖があるのがBar Chartノードで、デフォルトだと垂直グラフなので、水平グラフにする…

・これまでにいくつかクラスタを扱ったが、k-meansなどの手法はクラスタ数を自分で決めなければならない。 ・何を以て「最適なクラスタ数」というのはは諸説あるが、k-means法でクラスタ数を決めるのに一般的に用いられたいるのは、エルボー法かシルエット法…

・先のノード検索の際に出てきたk-Medoidsを使ってみる。 ・細かいことは分からないが、k-Meansのように仮想の重心を置くのではなく、データの中から重心に相当するものを選抜することでクラスタリングをするらしい。 ・特長は外れ値に比較的強いことだとか…

・先の記事で、k-Meansで気軽にクラスタリングを試して気づいたが、似たような名前のクラスタリング手法がある。Fuzzy c-Meansとk-Medoidsだ。 ・後者はいったん置いておいて、前者を前回と同じデータに対して試した。 ・Fuzzy c-Meansノードの出力ポートを…

・KNIMEはデータ解析プラットフォームなので、Extensionを追加しなくても、デフォルトで様々な解析が可能。 ・巷で流行っている機械学習などもノードをくっつけてモデルのパラメータを与えてやればある程度実行できる。 ・今回は、クラスタリングというもの…

・データを弄っていると、行を一つずらしたくなることがたまにある。 ・Lag Columnノードを使うと、行をずらすことができる。 ・例えばデフォルト設定でColumn1に適用すると、一行ずらすことができる（下図）。 ・設定画面のLagは何回ずらすか、Lag interval…

・セルの値を基準に、データを分別したいことがある。 ・例えば、生徒のテストの点数を基準に、合格と不合格を分ける場合などに適用される。 ・Numeric Row Splitterというノードでは、ある値以上、以下などを設定し、その基準に合うものを採用、合わないも…

・複数の列からデータをとってきて集計したい場面がしばしばある。 ・Mathformulaを使えば可能だが、集計に特化したColumn Aggregatorを使えば、より簡単に目的の処理を実行できる可能性がある。 ・このノードでは、「どの列から」「どういう集計法で」デー…

・数値データの表を扱っている際に、積算値を算出したいことがある。 ・調べてみると、Moving Aggregationというノードで可能らしい（下図）。 ・Scoreの対応する行までを加算した積算値がSum(Score)列に入っている。 ・Moving Aggregationの設定は以下の通…

・表の列を何らかの順番に並べ替えたいことがある。 ・Column Resorterでできるかと思ったが、どうもしっくりこない。 ・Column Resorterを使う過程で、Reference Column Resoterなる怪しげなノードを見つけた。 ・どうもこれでできるらしい。 ・Reference C…

・たくさんの数値データがある際に、それらの関係がどのようなものか推察する必要がでることがある。 ・散布図を描く際に、いちいちやってられないので、マトリックスで一気に可視化したい場合がある。 ・そういう場合には、Scatter Matrixノードを使うと、…

・先日、データをグループでまとめるノードGroupByに関して記事にした。 ・GroupByノードを出そうとすると、KNIME検索でUngroupなるノードが引っ掛かった。 ・このノードは、List形式のセルをバラバラにして、縦にずらっと並べるノードらしい。 ・例えば、Gr…

・共通項のあるデータを集計したり、重複を潰すのに、Groupbyというノードを使えば便利らしい。 ・使い方をメモしておく。 ・以下の表からデータを集計してみる。 ・例えば、各家庭（姓）の一番上に挙がっている名前（名）を代表者として、各家庭の平均年齢…

・たくさん列のある表全体に対して同じString Manipulationの処理を実行したい時がある。 ・String Manipulationは、１つの列に対してしか機能しないので、Loopを使って列を一つ一つ処理していく必要がある。 ・例えば、表中の「田中」を「鈴木」に変換するW…

・KNIMEでflow variableを扱う際に、Table Creatorで適当に表を作り、Table Column to Variable又はTable Row to Variableで変数化することがある。 ・何故か2分の1以上の確率で間違うので、記事にしておく。 ・適当に表を作って、それぞれで変数化した（下…

・Table Row To Variableを使うと、表を変数化して上の行から順番に渡すループを作ることができる。 ・変数化しなくて良いから、順番に数値を渡して欲しいと思う操作があった。 ・調べてみると、Chunk Loopというやつがそういうことをできるらしい。ちなみに…

・"Excel Writer"などの出力系ノードは、その先がない。 ・ループする際は、ループしたい領域をLoop StartとLoop Endで挟むが、Writer系のノードを繰り返したい場合はどうすれば良いか？ ⇒ Loop Endで作った表は無視して、Loopで挟んだ領域からWriterを生や…

・例えば、表から列を抽出する際に、"Column Filter"をよく使う。 ・flow variableで抽出する列を操作する場合に、ひとつの列を抽出するだけなら、適当に表を作成して"Table Row To Variable"ノードで変数化すれば良い。 ・複数の列を抽出したい場合はどうす…

・"column filter"などのノードの設定ウィンドウで、enforce exclusionとenforce inclusionを選ぶラジオボタンがある。 ・基本的に何も弄らずデフォルト（enforce exclusion）を使っていた。 ・元のデータが変わる際にエラーの原因になるようなので、忘れな…

・Column Filterで表から列を抽出（又は除外）する際に、Flow Variableで列名を指定したい。 ・例えば、左下の表からVariables 1（a）という名前の列を抽出する場合、以下のように組むことがある。 ・この際に、単純に"Column Filter"の"Flow Variables"で”i…

・キーとなる列の値を使って、２つの表をくっつけるのが"Joiner"ノード ・くっつけ方にもいろいろ癖あるので、メモしておく。 ・今回は、上の表に下の表をくっつけるだけのワークフローを考える。 ・上の表 ・下の表 ・GroupとIDの両方をキーに、２つの表を…