変分近似（Variational Approximation）の基本（２） - 作って遊ぶ機械学習。

さて、前回は変分近似の目的（複雑過ぎて解析解が得られないような確率分布の近似）と、近似のための指標（KL divergence）に関して解説しました。 今回は、変分近似の「公式」を導いてみたいと思います。近似分布$q(z)$に関して「分解の仮定」を置くことにより、数値最適化における勾配法のような繰り返しの更新手続きが得られ、近似分布が数値的に計算できることを示します。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 前回の記事の内容 勾配法 前回は、近似分布と真の事後分布の間のKL divergenceをなるべく小さくすることで、うまく近似分布を得ようという方針にしました。 \[ KL(q(z)||p(z|x)) = - \int q(z) \ln \frac{p(z|x)}{q(z)} dz \] で、ここが一番のミソなのですが、変分近似では、近似したい分布を次のように複数の