リッジ回帰 - Shogo Computing Laboratory

リッジ回帰 最小二乗法では、 近似曲線の次数を高くしたときに元の関数から大きくズレることがあります。 実際にスクリプトで遊んでみると、元の関数には山がひとつしかないのに、 近似関数では山がたくさんあってすごくデコボコした感じになることが確認できると思います。 これを何とかすることはできないでしょうか。 近似関数がデコボコしてしまうのは、関数が複雑すぎるからです。 では、複雑な関数というのはどういう関数でしょう？ リッジ回帰では「係数の絶対値が大きければ大きいほど複雑な関数」と考えます。 最小二乗法では、次の式で表される「誤差の総和」を最小にすることが目的でした。 変数の詳細は最小二乗法を確認してください。 これに、「関数の複雑さ」をペナルティとして加えます。 係数の絶対値を直接扱うのは面倒なので、リッジ回帰では係数の二乗を扱います。 λは「誤差の総和」と「関数の複雑さ」のトレードオフを決め

[Rion778]

「係数を0に近づける」となんで関数が単純になるのか最初わからなかったけどこういうことか。