正則化項（罰金項）の意味 - 機械学習に詳しくなりたいブログ
最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。（参考：線形回帰を最小二乗法で解く） それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。（参考：正則化最小二乗法） 今回は、そのペナルティ（正則化項）を加えることの数学的な意味を確認したいと思います。 正則化最小二乗法で書いた通り、正則化項は で表されます。ここで、の制約条件において、二乗和誤差 の最小値を求める問題を考えます。とすると、制約条件および二乗和誤差は凸関数ですから、不等式制約におけるラグランジュの未定乗数法（KKT条件）より、 の条件の元で を解けば、解が求められます。*1 さて、式(6)においてはに依存しませんから、これをで偏微分してみると、二乗和誤差に正則化項を加えた をで偏微分するのと同じ式が得られます。今、正則化項において
正則化最小二乗法 - 機械学習に詳しくなりたいブログ
訓練データ数に対して多項式の次元数が大きすぎると、過学習が発生することを以前確認しました。（参考：線形回帰を最小二乗法で解く） 過学習が発生するとき、係数が大きな値をとる傾向があるようです。よって、係数を小さい値に制限することができれば過学習が抑止できるということになります。この考えに基づいた手法が正則化です。最小二乗法の解の導出の式(5)で示した二乗和誤差 に対して、係数が大きくなることに対してペナルティを与える正則化項（罰金項）を以下のように追加します。 が大きくなれば、そのぶん誤差関数も大きい値をとってしまうということですね。ここでは正則化係数で、解析者が任意に決定する値です。式(2)を最小化するを求めるには、最小二乗法の解の導出で導出したのと同様に展開してで微分します。すると以下の式が求められます。 導出の過程はほとんど同じなので省略します。僕はの変形がちょっと戸惑いました。（は行
Lassoの理論と実装 -スパースな解の推定アルゴリズム-
$$ \begin{aligned} \boldsymbol{S}_{\lambda}(\boldsymbol{\beta}) & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda||\boldsymbol{\beta}||_q \\\\ & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda \sum_{i=0}^{p}{|\beta_i|^q} \cdots (*) \\\\ \end{aligned} $$ となります． 確認ですが， $\boldsymbol{y}$：n次元の観測ベクトル $\boldsymbol{X}$：n×(p+1)次元の計画行列(design matrix) $\boldsymbol{\beta}$：(p+1)次元の回帰係数ベクトル (これを求めたい．
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
