2022-01-01から1ヶ月間の記事一覧
・機械学習の教師あり学習というものをKNIMEでやってみたく、多くの場合で用いられるRandom Forestという手法を試してみた。 ・データのサンプルは、教師あり学習の分類問題で一般的なIris分類問題（アヤメの分類問題）を用いた。 ・一連の流れをフローで組…
・機械学習で多変量を扱う際に、変量（特徴量）を減らしたいことがある。 ・Uncle Bernie's ruleというもので、学習に必要なデータの数は、説明変数の数の10倍以上は準備しましょうというもので、いたずらに特徴量や説明変数を増やしてモデルするのはよろし…
・データ間の距離情報のみを得た場合に、階層型クラスタリグを適用したい。 ・そこで、距離情報を読み込んで階層型クラスタリングに適用してみたい。 ・サンプルデータとして、10個のポイントの相互距離を用いた（下図）。 ・これを三角行列風の表に加工し、…
・機械学習でいろいろ試していると、サンプルデータセットを入手したくなることがある。 ・少し調べてみると以下のサイトが便利そうだった。 ・The UCI Machine Learning Repository archive.ics.uci.edu ・kaggle dataset www.kaggle.com ・dataflair data-…
・先日、プレートリーダーから得たデータを用いて4パラメーターロジスティック曲線（正確には4パラメータ logロジスティック曲線）にFittingして、IC50を求めてみた。 ・4パラメーターロジスティック曲線は、4つのパラメーターで定義される曲線で、S字カーブ…
・ファイル名を変更したくなったのでやり方を調べてみた。 ・参考にしたのは、KNIME Hubの以下の記事。 hub.knime.com ・私が作成したのは、以下のワークフロー。 ・流れは以下の通り。 ①String Inputで変更後のファイル名を入力（変数名はNewnameとした）。…
・先日の続きで、プレートリーダーのデータを解析して、IC50（50％反応阻害濃度）などを求めてみたい。 ・デフォルトのKNIMEの機能では目的の解析が難しいので、ExtensionのHTS Toolsをインストールする。Extensionは下図のFile⇒install KNIME Extensions...…
・生物系の実験で、プレートリーダーで得られたデータを解析することで、試験物質のin vitro活性を評価することがしばしばある。 ・KNIMEでこの解析が自動化できないか調べてみたところ、ExtensionのCommunityノードで、HCS Toolというものがあった。これを…
・KNIMEでデータからモデルを作成する際に、データ全体ではなく、その一部からピックアップして使いたくなることがある。 ・例えば、「100行ある表から、30行だけピックアップして何らかの解析に使いたい」、「被りありで50行ピックアップしたい」、「分類問…
・時系列データの解析手法として、トレンド解析及びトレンド除去後の周期性の解析というのが一般的に用いられるらしい。 ・時系列データの解析を実施してみたいと思って最初に思いついたのが、気温のデータだった。気温のデータは、気象庁のHPからcsvでダウ…
・クラスタリングの手法として、密度を基準に、ぎゅっと集まっているところを一つのクラスタ、疎なところを外れ値として解釈するDBSCANという手法がある。 ・ざっくりと組んでみた（下図）。これもデータ間の距離を算出してやる必要があるので、Numeric Dist…
・私の思うKNIMEの長所は、処理の状況をステップごとに視覚的に追えること、習得コストが低い割にいろいろ出来ること（コストパフォーマンスが良い）、世界的に見ればコミュニティが活発であること、desktop版は無料で利用できること、あたりだと思う。 ・そ…
・これまでは非階層型クラスタリングを試していたが、今回は階層型クラスタリングを試してみたい。 ・試しに組んでみた（下図）。 ・階層型クラスタリングといえば、デンドログラム（樹形図）での表示だと思う。 ・Hierarchical Clusteringのノードを右クリ…
・データを処理していると、行を複製したくなることがあった。 ・行を複製するOne Row To Manyというノードがあったので、記載する。 ・このノードは、表中の整数データの入った列の数値の数だけ行を複製する機能がある（下図）。 ・左が入力テーブル、真ん…
・KNIMEでLoop処理を実行していると、複数のTableを変更してLoop処理したい場面があった。 ・今回私が遭遇したケースでは、回帰処理が求められたので、recursive loop (2 ports)で対応した（下図）。 ・初回の処理では、Startの上のポートから入ったTableは…
