PythonによるDeep Learningの実装（Deep Belief Nets 編） - Yusuke Sugomori's Blog

前回、前々回とそれぞれロジスティック回帰（Logistic Regression）、制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら２つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが（多層のため誤差の重みが少