いろいろ倉庫

KNIME、EXCEL、R、Pythonなどの備忘録

2021-11-01から1ヶ月間の記事一覧

【KNIME】クラスタリングしてみたい(k-Means)

・KNIMEはデータ解析プラットフォームなので、Extensionを追加しなくても、デフォルトで様々な解析が可能。 ・巷で流行っている機械学習などもノードをくっつけてモデルのパラメータを与えてやればある程度実行できる。 ・今回は、クラスタリングというもの…

【KNIME】行をちょっとずらしたい

・データを弄っていると、行を一つずらしたくなることがたまにある。 ・Lag Columnノードを使うと、行をずらすことができる。 ・例えばデフォルト設定でColumn1に適用すると、一行ずらすことができる(下図)。 ・設定画面のLagは何回ずらすか、Lag interval…

【KNIME】Available Renderersで表の表示を変更したい

・先の記事で、Tableの表示を右クリック⇒Available Renderersで変更できることを記載した。 ・前回は、省略された数字を表示する目的で記載したが、数値に応じて色調やバーで表示することもできる。 ・KNIMEのワークフローのTableを扱うノードの後、表の中身…

【KNIME】Tableの数値を全桁表示したい

・EXCEL ReaderノードでEXCELからデータを読み込む際に、何桁まで読み込むことができるのか気になったので、試してみた。 ・123456789という整数に対して、100倍し続ける列と1/100倍し続ける列をEXCEL上で作成した(下図)。 ・これを、100倍列は1.23456789E…

【KNIME】セルの値でRowを分けたい

・セルの値を基準に、データを分別したいことがある。 ・例えば、生徒のテストの点数を基準に、合格と不合格を分ける場合などに適用される。 ・Numeric Row Splitterというノードでは、ある値以上、以下などを設定し、その基準に合うものを採用、合わないも…

【KNIME】現在時刻の情報を使いたい

・ファイル名などに、今日の日付や現在時刻を使いたい場合がある。 ・試しにtimeでノードを調べてみると、それっぽいものが見つかった。 ・Time Generator (legacy)というノードを実行すると、デフォルト設定で以下のように出力された。 ・StartとEndの間の…

【KNIME】XPathでデータを見やすくしたい

・前回、Webからデータを取得したものの、コードだけではデータを把握できなかった(下図)。 ・XMLはデータ構造を記述するマークアップ言語の一種であり、適切に形式を変換すれば表として読める。 ・XPathノードでは、構造化されたXMLから要素を抜き出し、…

【KNIME】GET RequestでデータをWebから釣ってきたい

・KNIMEには、Webにアクセスし、情報を釣ってくるノードが存在する。 ・特定のWebサイトに集中的にアクセスするとサーバに負荷がかかり、いろいろと不味いことになります。・スクレイピングは禁止されている場合もあるので、できるできないはきちんと調べて…

【KNIME】Column Aggregatorで集計したい

・複数の列からデータをとってきて集計したい場面がしばしばある。 ・Mathformulaを使えば可能だが、集計に特化したColumn Aggregatorを使えば、より簡単に目的の処理を実行できる可能性がある。 ・このノードでは、「どの列から」「どういう集計法で」デー…