はじめに 回帰分析(フィッティング)の方法として、最小二乗法やカイ二乗検定、最尤法が一般的な方法としてあり、それらは損失関数を最小化/最大化することで、データに合うモデルパラメーターを決めている。ただ、パラメータが増えたり関数が複雑になると、最適な解を求めるには数値計算が難しくなり、近似的に解を求める必要がある。そのような近似解を求める方法の一つとして、今回はマルコフ連鎖モンテカルロ法を紹介する。 マルコフ連鎖モンテカルロ法(MCMC:Markov chain Monte Carlo methods) 事後分布を数値計算から求めることが困難な場合、事前分布と事後分布にマルコフ連鎖を仮定し、モンテカルロ法とベイズの定理により確率的に事後分布(次の状態)を計算し、近似値を探索する方法。 変分推論(VI:Variational Inference) 近似分布と事後分布のロス関数をKLダイバージェ