マイナーな正則化手法「ラベル平滑化」は実は効果アリアリらしい - Qiita

教師あり学習のクラス分類タスクにおいては、既に様々な正則化手法が考案・実用化されています。 例えば、荷重減衰（Weight Decay）、ドロップアウト、バッチ正規化やレイヤー正規化などが知名度高いでしょう。 しかし「ラベル平滑化（Label Smoothing)」というのは、「あ～なんか聞いたことある」とか「何それ？」というくらい、認知度がありません。 なぜでしょう？実装は恐ろしいほど簡単で、ちゃんと 論文もある（※1） んですが。 ※1）「Rethinking the Inception Architecture for Computer Vision」のP6「7. Model Regularization via Label Smoothing」 本稿では、ラベル平滑化の正則化の効果をMNISTを使用して実験し、少なくともこの実験の条件下においては正則化の効果があることを示しています

[sh19910711]

"Label Smoothing: 実装は恐ろしいほど簡単 + 訓練データの正解ラベルのone-hot vectorを、「0」「1」と白黒はっきりさせないで、「少しボカした」数値にする + 正解クラスのラベル数値を、「1」→「1 − 𝜖」" 2021