ベイズ混合モデルにおける近似推論① ～変分近似～ - 作って遊ぶ機械学習。

今回から数回に分けてベイズ混合モデルの構築法と種々の近似推論（変分近似、ギブスサンプリング、崩壊型ギブスサンプリング）に関してお話ししたいと思います。 混合モデルの代表的なアプリケーションはクラスタリングですが、今回ご紹介するモデルの構築方法はクラスタリングにとどまらず、もっと凝ったモデルを構築するための基本パーツになるものです。例えば時系列情報を取り扱うためのHMM（Hidden Markov Model）や自然言語処理でよく使われているLDA（Latent Dirichlet Allocation）などはこれらの混合モデルを拡張することにより得ることができます。レゴブロックのように、アイデア次第ではそれ以上に複雑で豊かな表現力を持ったモデルを構築することも可能です*1。 さて、今回の記事ではまず始めに混合モデルの例としてポアソン混合モデルを導入します。そして、以前にご紹介した変分近似（

[mooz]

good read