Deep Reinforcement Learning: An Overview
We give an overview of recent exciting achievements of deep reinforcement learning (RL). We discuss six core elements, six important mechanisms, and twelve applications. We start with background of machine learning, deep learning and reinforcement learning. Next we discuss core RL elements, including value function, in particular, Deep Q-Network (DQN), policy, reward, model, planning, and explorat
Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298]
Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298] 概要 Semi-Supervised Learning with Deep Generative Models を読んだ Chainer 1.8で実装した モデルM1、M2、M1+M2の実装方法の解説 モデルM2で100ラベルのエラー率9%を達成した モデルM1+M2で100ラベルのエラー率4%を達成した はじめに Variational AutoEncoder(VAE)は、半教師あり学習に用いることのできるオートエンコーダです。 学習のベースとなる確率的勾配変分ベイズ(SGVB)については以前の記事をお読みください。 この論文では3つのVAEのモデル、M1、M2、M1+M2が提案されています。 M1 M1は教師なし学習のためのモデルです。 Chai
![Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b96bcf0a6561853ab2259098ff8ec2bc9e7b923c/height=288;version=1;width=512/http%3A%2F%2Fmusyoku.github.io%2Fimages%2Fpost%2F2016-07-02%2Fm1_latent_space.png)
ICLR 2017 - Conference Track
OpenReview is a long-term project to advance science through improved peer review, with legal nonprofit status through Code for Science & Society. We gratefully acknowledge the support of the OpenReview Sponsors. Enter your feedback below and we'll get back to you as soon as possible. To submit a bug report or feature request, you can use the official OpenReview GitHub repository: Report an issue
LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
転移学習：機械学習の次のフロンティアへの招待 - Qiita
機械学習を実務で使う場合、「ではお客様、ラベルデータを・・・」と申し出て色よい返事が返ってくることはあまりありません。また、例えば自動運転車を作るときに、データが足りないからその辺流してくるか、お前ボンネットに立ってデータとってな、とするのは大変です。 NICO Touches the Walls 『まっすぐなうた』 より そこで必要になってくるのが転移学習です。 転移学習とは、端的に言えばある領域で学習させたモデルを、別の領域に適応させる技術です。具体的には、広くデータが手に入る領域で学習させたモデルを少ないデータしかない領域に適応させたり、シミュレーター環境で学習させたモデルを現実に適応させたりする技術です。これにより、少ないデータしかない領域でのモデル構築や、ボンネットに立つという危険を侵さずにモデルを構築することができるというわけです。 この転移学習の可能性は、NIPS 2016
自然言語処理における、Attentionの耐えられない短さ - Qiita
「あなたって、私の言葉の最後の方しか聞いてないのね」 実は人間だけでなくニューラルネットワークもそうだった、という結果を示しているのがこちらの論文です。 Frustratingly Short Attention Spans in Neural Language Modeling 言い訳としては「だって君の次の言葉を予測するだけならそれで十分だから」ということになるんですが、そう言うと角が立つのは人間関係においても研究においても同様のようです。 本編は、上記の論文の紹介と共に他の関連論文も交えながら、実際の所本当に最後の方しか必要ないのか、そうであればなぜそんなことになるのか、という所について見て行ければと思います。 なお、参照した論文は以下のGitHubで管理しています。日々更新されているため、研究動向が気になる方は是非Star&Watchをして頂ければと！。 arXivTimes At
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
はじめてのGAN
今回はGAN（Generative Adversarial Network）を解説していきます。 GANは“Deep Learning”という本の著者でもあるIan Goodfellowが考案したモデルです。NIPS 2016でもGANのチュートリアルが行われるなど非常に注目を集めている分野で、次々に論文が出てきています。 また、QuoraのセッションでYann LeCunが、この10年の機械学習で最も面白いアイディアと述べていたりもします。 “The most interesting idea in the last 10 years in ML, in my opinion.” –Yann LeCun GANは聞いたことはあるけれどあまり追えてないという人向けに基礎から解説していきたいと思います。それでは順に見ていきましょう。 目次 基礎理論 DCGAN 実装 論文紹介 まとめ 基礎理
Deep Learningの理論的論文リスト - Obey Your MATHEMATICS.
§1はじめに Deep Learningってどのくらい理論的に解明されているのか？ってやっぱり気になりますよね。 それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。 When will we see a theoretical background and mathematical foundation for deep learning? - Quora How far along are we in the understanding of why deep learning works? - Quora 深層学習界の大御所であるYoshua Bengio、Yann LeCunの二人が 実際ディープラーニングの理論的理解ってどうなのよ？？ って質問に直々にコメントしています。 LeCunのコメントの冒頭を少し引用しますと; That’s a very active
AlphaGoの論文解説とAIが人間を超えるまで - A Successful Failure
2016年06月03日 AlphaGoの論文解説とAIが人間を超えるまで Tweet Google DeepMindによって開発されたAlphaGoが世界最強のプロ囲碁棋士の1人である李世ドルを4勝1敗で破ったことは世界に衝撃を与えた。現時点でAlphaGoは世界ランキングにおいて柯潔九段に次ぐ2位につけており、もし柯潔九段との対戦が実現すれば誰をも寄せ付けない孤高のトップに君臨することだろう。 もともと囲碁は将棋やチェスに比べて場合の数が膨大であり（チェス=10120, 将棋=10220, 囲碁=10360）、コンピュータには複雑すぎて人間よりも強くなるにはまだしばらくの時間がかかると見られていた。実際、将棋でプロを圧倒する実力を達成した（参考: コンピュータ将棋のトッププロを凌ぐ強さが確認されるまで）情報処理学会は、次の目標として囲碁を挙げていたところだった。最後に残ったグランドチャレ
情報幾何と機械学習
( ) 1–1–1 2 The National Institute of Advanced Industrial Science and Technology, Central 2, 1–1–1 Umezono Tsukuba-shi Ibaraki 305–8568, Japan E-mail: s.akaho@aist.go.jp differential geometry duality flat space projection probabilistic model statistical inference JL 002/02/4202–0086 c �2002 SICE 1. 1 ˆ ξ1 ξ2 1 2. 2.1 n ξ = (ξ1 , . . . , ξn ) X f(x; ξ) 1 ξ 1 ( ) X {x0, x1, . . . , xn} Prob(X = xi) =
損失関数はそれほど複雑な関数ではないのかも？と言う話 - Obey Your MATHEMATICS.
前回の記事 mathetake.hatenablog.com にある論文(2-2-9)[1605.07110] Deep Learning without Poor Local Minimaについてのお話です*1。 Abstractを読んだ瞬間に、こんな重要な論文をどうして今まで知らなかったのかと言うぐらい興奮しました。 少し長いですが引用しますと In this paper, we prove a conjecture published in 1989 and also partially address an open problem announced at the Conference on Learning Theory (COLT) 2015. With no unrealistic assumption, we first prove the following state
100 Must-Read NLP Papers
100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and read. View on GitHub 100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and rea
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
KerasでDCGAN書く - Qiita
性懲りもなく前回の記事の追加実験を続けています。 DCGANを書きたくなったので書いてみたところ、どうでもいい知識が溜まったので書いておきます。 内容は主に以下になります。 KerasのTips的なの DCGANいじる過程 DCGAN自体の説明は他の記事を参照してください。私は主にこのあたりを参考にしました。 Chainerを使ってコンピュータにイラストを描かせる Chainerで顔イラストの自動生成 keras-dcgan Keras関連 Kerasのことしか書いてないので興味ない方は読み飛ばしてください。 Kerasのtrainable Keras DCGAN で検索すると一番上にkeras-dcganがでてきます。参考にしようと覗いてみると訓練中にtrainableの値を切り替えることによってGenerator学習時にDiscriminatorの重みを更新しないようにしているようです
2016年のディープラーニング論文100選 - Qiita
これはFujitsu Advent Calendar 2016の11日目の記事です。 掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。 はじめに この記事では先月今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの）から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2017年のディープラーニング論文100選 DeepLearning研究 2016年のまとめ 2016年の深層学習を用いた画像認識モデル foobarNet: ディープラーニング関連の○○Netまとめ NIPS2016実装集 ディープラーニングにとっての2016年 20
Webscope | Yahoo Labs
G4 - Yahoo! Network Flows Data, version 1.0 (multi part) (Hosted on AWS) Yahoo! network flows data contains communication patterns between end-users in the large Internet and Yahoo servers. A netflow record includes timestamp, source IP address, destination IP address, source port, destination port, protocol, number of packets, and number of bytes transferred from the source to the destination. Th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ご注文は機械学習ですか？
GitHub - julius-speech/julius: Open-Source Large Vocabulary Continuous Speech Recognition Engine
PaintsChainer