過学習抑制「Weight Decay」はSGDと相性が良く、Adamと良くない？／ニューラルネットワーク - SE_BOKUのまとめノート的ブログ

目次 過学習の抑制手法「Weight Decay」 Weight Decayのペナルティの値は係数をかけ合わせたもの Weight Decayの係数の適切な初期値は？ Neural Network Console（NNC）で確認 NNCリファレンスの記載 Weight Decayの係数の適切な値とは Weight DecayとOptimizerとの相性 Optimizer「Adam」で確認する Optimizer「Sgd」で確認する まとめ：SGDと相性が良く、Adamと良くない 過学習の抑制手法「Weight Decay」 過学習というのは、学習（訓練）データに適合しすぎて、学習（訓練）データと異なるデータでの正解率が低くなってしまうことです。 正解率をあげるためには、過学習をなんらかの方法で抑制する必要があります。 Weight Decayはその過学習の抑制手法のひとつです。 Weig

[plasma0713]

“Weight decayの値を0以外（例えば 0.0001等）にすると、L2正規化が働いて、過学習の抑制効果がありますが、Optimizerタブで「Adam」を選択していると、相性の問題で、あまり過学習抑制効果がないように見えました。”