変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。
初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似（variational approximation）とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正規化（積分して１になるようにする）しなければならないのですが、複雑な分布（例えば潜在変数モデルの事後分布）になってくると、どうしても解析的に積分ができなくなってしまいます。変分近似ではこのような複雑すぎて正規化できないような確率分布を、もっとシンプルな確率分布たちの積に分解する（＝独立性を仮定する）ことにより近似します。分解を仮定することによって変数の依存関係を簡略化し、数値最適化でいうところの偏微分を使った勾配法と似たようなことが確率分布の推論に対しても行えるようになります。 これが使えるようになると、様々なデータサイエンスの課題に
変分ベイズ法の心２ - HELLO CYBERNETICS
はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか はじめに 下記記事の続きで、お気持ちは理解している前提で進みます。 www.hellocybernetics.tech 変分ベイズ法の戦略 基本の復習 データ $D = {x_1, \cdots, x_N}$ が手元にあるときに確率モデル $p(x|\theta)$ と事前分布 $p(\theta)$ を設計するのがモデリングの第一歩でした。するとベイズの定理（あるいは乗法定理）から、下記の事後分布を獲得することがベイズ推論の目標になります。 $$ p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} $$ さて、この分布を推論したときに最も嬉しい結果は $\theta$ を表す真の分布 $\hat p(\theta
変分ベイズ法の心 - HELLO CYBERNETICS
ベイズ推論の基本 変分ベイズ学習 変分法の心 変分ベイズ法の戦略 ベイズ推論の基本 ベイズモデリングの概要については下記の記事を参考にしてください。 www.hellocybernetics.tech 概要をさらっとなぞると、ベイズ推論の基本的な話としては、観測データ $x$ の真の確率分布 $\hat p(x)$ を知る由もないので、確率モデル $p(x | \theta)$ でモデル化し、更にパラメータ $\theta$ にも事前分布 $p(\theta)$ を仮定します。 $$ p(x, \theta) = p(x | \theta)p(\theta) = p(\theta | x) p(x) $$ という確率分布に対していつでも成り立っている乗法定理から、 $$ p(\theta | x) = \frac{p(x|\theta)p(\theta)}{p(x)} $$ とできます。そ
ニューラルネットワークを用いた近年の変分推論１ - HELLO CYBERNETICS
はじめに 変分推論 モデルの書き方 立てたモデルに対する変分近似分布 変分推論 EMアルゴリズムの発展としての変分推論 変分推論の違った見方 近似したいという動機 近似のための損失関数の分解 期待値のサンプリングによる近似 事前分布と変分近似分布のKLダイバージェンス 最後に はじめに ここではベイズ推論（データからベイズ予測分布を得る手続き）をある程度知っている前提で、ベイズ推論を具体的に実行する手立てとしての近年の変分推論について適当にまとめておきます。 ベイズ推論では観測データ $\bf X$ から未観測の潜在変数 $\bf Z $ とモデルのパラメータ $\bf w$ の事後分布 $$ p({\bf Z, w}, \mid {\bf X}) $$ を求め、新たなデータ $\bf x$ に関する統計モデル $p({\bf x}\mid {\bf Z, w})$ の期待値（すなわち、事
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
