変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。

初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似（variational approximation）とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正規化（積分して１になるようにする）しなければならないのですが、複雑な分布（例えば潜在変数モデルの事後分布）になってくると、どうしても解析的に積分ができなくなってしまいます。変分近似ではこのような複雑すぎて正規化できないような確率分布を、もっとシンプルな確率分布たちの積に分解する（＝独立性を仮定する）ことにより近似します。分解を仮定することによって変数の依存関係を簡略化し、数値最適化でいうところの偏微分を使った勾配法と似たようなことが確率分布の推論に対しても行えるようになります。 これが使えるようになると、様々なデータサイエンスの課題に

[stockedge]

わかりやすいです