PFIセミナー2013年6月6日分です。Deep Learningの技術的基礎からBengioの怪しげな妄想まで。
PFIセミナー2013年6月6日分です。Deep Learningの技術的基礎からBengioの怪しげな妄想まで。
人工知能学会監修『深層学習 — Deep Learning』出版の案内 本連載解説の記事を加筆・再編集した書籍『深層学習 — Deep Learning』を近代科学社から2015年10月31日に出版しました. 監修:人工知能学会 著者:麻生 英樹,安田 宗樹,前田 新一,岡野原 大輔,岡谷 貴之,久保 陽太郎,ボレガラ・ダヌシカ 編集:神嶌 敏弘 出版:近代科学社 出版社のページ サポートページ 人工知能学会誌 連載解説「Deep Learning(深層学習)」 現在では記事は無料で公開されています. 安田 宗樹「ディープボルツマンマシン入門 : ボルツマンマシン学習の基礎」人工知能学会誌 Vol.28 No.3 (2013年5月) 麻生 英樹「多層ニューラルネットワークによる深層表現の学習」人工知能学会誌 Vol.28 No.4 (2013年7月) 岡野原 大輔「大規模Deep Lear
このブログのTips052で、RでDeep Learningをやっているのを紹介してもらったので、自分も試してみました。 「Deep Learningすげぇ!!」という話は良く聞くのですが、亜種がいっぱいあるみたいで、まだあまり調査しきれてません。また時間があれば調査してまとめられると良いのですが。 以下、RでDA(Denoising Autoencoders)を実行するプログラムです。 sigmoid <- function(x){ return (1 / (1 + exp(-x))) } dA <- setRefClass( Class="dA", fields=list(input="matrix", n_visible="numeric", n_hidden="numeric", W="matrix", W.prime="matrix", hbias="vector", vbias
前回、前々回とそれぞれロジスティック回帰(Logistic Regression)、制約付きボルツマンマシン(Restricted Boltzmann Machine, RBM)を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら2つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが(多層のため誤差の重みが少
脳とdeep learning のアーキテクチャには共通の特徴が多くありますが、 脳にはあるのに現在(2012年時点)の deep learning にはない重要な特徴もあります。 その中には deep learning の性能をさらに向上させる 有望なヒントが含まれているのではないかと思います。 そこで、大脳皮質と deep learning の類似点と相違点を簡単にまとめてみました。 特に「脳は上の層ほど発火がスパース」「脳はあまり深くなくむしろ横に広い」 「脳では領野ごとに強い個性がある」といった特徴は、 重要なのではないかと思います。 ◆ 大脳皮質に見られる「深いネットワーク」 大脳皮質の視覚野(腹側経路と背側経路)、聴覚野、体性感覚野、運動野には 「深いネットワーク」の構造が見られる。 これらの領域における主な領野の階層構造を [Felleman and Essen 1991]
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く