深層学習VS決定木：テーブルデータ分析の未来｜PKSHA Delta

深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事ではテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性能比較の文献を調べたところ、NeurIPS 2022で発表さ

[misshiki]

“なぜ深層学習ベースのモデルは決定木ベースよりも性能が劣っているか。理由1：DLベースのモデルは滑らかな解に偏っている、2：DLモデルは情報量の少ない特徴量に弱い、3：DLモデルは回転不変性を持つ”

[sh19910711]

"テーブルデータのデータセットを用いて、決定木ベースモデルと深層学習モデルの性能比較 / 回転不変性: 特徴量に任意の回転行列をかけても同じ学習ができる / 大規模データセットでの実験はできなかった" arXiv:2207.08815