テーブルデータに対して、DenosingAutoEncoderで精度向上 - にほんごのれんしゅう

データセットの問題 Kaggle Porto Seguroでは問題となっている点があって、テストデータとトレインデータのサイズの方が大きく、トレインだけに着目してしまうと、LeaderBoardにoverfitしてしまう問題があります。 これはトレインだけで学習するために起こる問題で、テストデータ・セットを有意義に使う方法として、教師なし学習でまずは次元変換やなんやらを行うという方法が有効なようです。 ディープを用いることでいくつか有益な変換操作を行うことができて、「すべての情報は何らかのノイズを受けている」という視点に立ったときに、恣意的にAutoEncoderの入力にノイズを乗せ、それを除去するように学習するとはっきりと、物事が観測できるようになったりするという特徴を利用しています。 図1. よくある画像の例 画像の利用からテーブルデータの利用に変換する操作を行います。 このテーブルデ

[sh19910711]

"テーブルデータも何らかの確率的な振る舞いをしていて、事象の例外などの影響を受けるとき、このときDenosing AutoEncoderでノイズを除去するように学習することにより一般的で、汎用的な表現に変換できるのかも"

[stealthinu]

ノイズ除去用のオートエンコーダを噛ますことで画像だけじゃなくテーブルデータでも精度が向上すると。またノイズの乗せ方にテクニックが必要でswap noiseという手法がよいらしい。