最尤推定、MAP推定、ベイズ推論 - 作って遊ぶ機械学習。

今回は、最尤推定、MAP推定（事後確率最大化推定、正則化）、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 KL divergence 確率の加法定理、乗法定理 \[ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \] $x$を観測データ、$\theta$をパラメータとした確率モデル$p(x, \theta)$に対して、それぞれの推定方法は一般的には下記のように認識されているようです。 ・最尤推定 \[ \theta_{ML} = \argmax_{\theta} \{ p(x|\the