[PDF]情報学習理論｜渡辺澄夫

情報学習理論 渡辺澄夫 東京工業大学 教師あり学習の枠組み 学習データ X1, X2, …, Xn Y1, Y2, …, Yn テストデータ X Y 情報源 学習モデル y=f(x,w) q(x,y) 復習：学習と汎化 E(w) = (1/n) Σ (Yi-f(Xi,w))2 n i=1 学習誤差関数 F(w) = ∫∫ (y-f(x,w))2 q(x,y) dxdy 汎化誤差関数 学習の真の目的は汎化誤差を小さくすることである 復習：神経素子 x1 x2 x3 xN w1 w2 w3 wN ∑ wi xi N i=1 σ( ∑ wi xi + θ) N i=1 ニューロン シナプス 結合荷重 バイアス θ 復習：三層パーセプトロン x1 x2 xM f1 f2 fN 2015/11/5 Mathematical Learning Theory 6 故郷から旅立つ 関数近似能力（１） どん

[midnightseminar]

「どんな連続関数も、中間ユニットを十分たくさんとってパラメータを適切に定めれば３層パーセプトロンによって近似できる」「３層ニューラルネットは、多項式や三角関数よりも遥かに優れた近似効率を持つ」