なぜニューラルネットはSVMに勝てないのか - Qiitatl;dr 目的：なぜ簡単な問題においてパーセプトロンよりもSVMのほうが性能が良いことが多いのか、それは本当なのかを考察する。 特に、ラベルあたりのデータ数に偏りがある場合。 SVM、単層パーセプトロン、SVMと同じ損失関数の単層パーセプトロンで振る舞いを比較した。 定性的な評価だが、SVMがもっともよかった。少なくとも損失関数の違いだけではないことがわかった。 最適化法の違い、パラメータの選び方が効いているのかもしれない。 はじめに 線形SVM1は歴史ある分類器ながら、その強力さから現代でも広く使われています。分類器としては近年ニューラルネットワーク、特にニューラルネットワークを多層にかさねた深層学習が話題になっています。しかし、これはあくまでも感覚なのですが、がんばって訓練したニューラルネットワークよりも素朴な線形分類器であるSVMのほうが性能が高いことが多々あります。 線形SVMと
