・データ処理の不備で、同じ項目が複数混ざってしまうことがある。
・そのような場合は、項目の行を削除するなどする必要がある。
・そのような場合は、Duplicate Row Filterノードが便利。
・例えば、同じ生徒が複数回含まれてしまっている表から、被っている生徒を除くことを考える(以下)
・Duplicate Row FilterノードのOptionではどの列が被っている可能性があるのか、Advancedでは、被っていた場合に何をするのかを設定する(下図)。
・被っているデータを削除し、代表データを残す場合に、何を基準に残すデータを選ぶのか、被っている列を残す際の処理なども選択できる。
・データの前処理をする際に便利。
終わり。