はじめに ガウス過程回帰は機械学習領域ではかなりメジャーなので、皆様御存知かと思いますが、 ここで本当に初学者がガウス過程回帰にいきつくような解説と、多次元まで対応したPythonのガウス過程回帰クラスを提示したいと思います。実装については第2回で書きます。 まずは線形回帰モデルを考える まずは泣く子も黙る線形回帰モデルを考えることにします。 $w$はパラメータベクトル、$\phi(x)$は非線形の基底関数です。 $$ y(\boldsymbol{x}, \boldsymbol{w})=\boldsymbol{w}^T\phi(\boldsymbol{x}), $$ これは以前の投稿ベイズ線形クラスのPython実装で紹介したものです。 少し先走って書くと、$w$の事前分布を決めれば、関数$y(w,x)$に対する事前分布が決まり、訓練集合が与えられると$w$の事後分布が決まり、結果として関