G社のNMT論文を読んでみたGoogle's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation http://arxiv.org/abs/1609.08144 を読んでみたので、簡単にまとめました。間違い等は是非ご指摘ください。
Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations
We introduce a method to train Quantized Neural Networks (QNNs) --- neural networks with extremely low precision (e.g., 1-bit) weights and activations, at run-time. At train-time the quantized weights and activations are used for computing the parameter gradients. During the forward pass, QNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operati
Playing FPS Games with Deep Reinforcement Learning
Advances in deep reinforcement learning have allowed autonomous agents to perform well on Atari games, often outperforming humans, using only raw pixels to make their decisions. However, most of these games take place in 2D environments that are fully observable to the agent. In this paper, we present the first architecture to tackle 3D environments in first-person shooter games, that involve part
Variational Autoencoders (VAEs; 変分オートエンコーダ) (理論) - Qiita
あ 今だにちょくちょくこの記事を参考にしていただけるのですが、次の記事にもうちょっと推敲して書き直したのでこちらを参照していただけると幸いです. Variational Autoencoders (VAEs) (この記事自体を書きなおせばいいじゃんってのはナシで. Qiita でこれ以上ものを書きたくないので) 応用例 ちょっとググると次のようなものがヒットします Variational Autoencoderでアルバムジャケットの生成 - Use At Your Own Risk chainer-Variational-AutoEncoderを使ってみた - studylog/北の雲 すごいですね！ 応用はいいから理論を教えて！ 参考文献 Tutorial to Variational Autoencoders: https://arxiv.org/pdf/1606.05908v2.pd
第8回最先端NLP勉強会（SNLP 2016）
概要 自然言語処理分野におけるトップジャーナル・トップカンファレンスであるTACL （直近1年）、ACL 2016、NAACL 2016、EMNLP 2015の論文の中から、参加者の投票によって厳選した論文を、各参加者が紹介する勉強会です。 勉強会の参加者は、各自1～2本の論文を担当し、全体で30本程度の論文の紹介をします。 第1回目は1研究室のメンバーを中心とした会でしたが、第2回目より、研究室の枠を超え、東京近郊の様々な研究室の学生・研究者有志一同による勉強会として開催しております。 このイベントを通じて、研究者間の活発な情報交換・意見交換・交流が行われ、今後の研究に活かされることを本勉強会の狙いとしています。 過去の勉強会の様子 スケジュール 9月11日（日）
新しいマシンやスマフォで Slack の各種チームに入るのが面倒くさい！！！という時 - Qiita
新しいマシンやスマフォで Slack App で各種チーム(たくさんある)にログインがすこぶる面倒くさい･･･面倒くさい･･･面倒くさい･･･。という経験したことありませんか。私は4回ぐらいあります。1password 使ってるからパスワードもバラバラだしね･･･。 そんなときは https://slack.com/signin/find のページから Find Another Team を押して自分のメールアドレスを入力すると、そのアカウントに紐付いてるすべての Team アカウントにログインできるマジックリンクがメールで送られてくる･･･！ あとは各種メーラーで、そのリンクをクリックしていくと、Slack app が立ち上がり自動でそのチームにログインできます。PCでもスマフォでも使えるし、うおー便利、マジックリンクが出来た当初から知っておきたかった･･･！！ Register as
機械学習プロフェッショナルシリーズ輪読会スライドまとめ - Qiita
機械学習プロフェッショナルシリーズ輪読会の発表スライドをまとめたページです。 随時更新します。 機械学習プロフェッショナルシリーズ輪読会 Conpass URL: http://ml-professional.connpass.com 1冊目：「深層学習」 2冊目：「異常検知と変化検知」 #1「深層学習」編 http://bookclub.kodansha.co.jp/product?isbn=9784061529021 正誤表 chapter 1: はじめに @a_macabee http://www.slideshare.net/beeEaMa/chapter-01-49404580 Chapter 2:順伝播型ニューラルネットワーク @a_macabee http://www.slideshare.net/beeEaMa/chapter-02-49488411 Chapter 3:確
Survey - A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation System - Qiita
Survey - A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation SystemDeepLearningWWWsurveyRecommendation サーベイです。もともと個人用なので、かなり適当な部分あります。 About this paper Ali Elkahky, Yang Song, Xiaodong He, "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation System", WWW'15 PDF Abstract 近年のオンラインサービスは大量のユーザに対して、関連のあるコンテンツを推薦するために、personalizeする事が大事である
【その1】DeepLearningを使って気象画像から天気予報をする - Qiita
変更履歴 2016/8/31 AUC計算が「晴」だけしか見ていなかったので、修正 概要 DeepLearningでCNN(畳み込みニューラルネットワーク)といえば、画像処理がメインになるのに、画像処理に関する分析を全くやっていなかったので、今回は 気象画像から天気予報ができるか を検証してみたいと思います。 準備 気象画像の入手 気象画像は高知大学のサイトからぽちぽちダウンロードしました。2015年1月から2016年7月のデータを入手します。使ったのはこのような画像です。 なお、1時間ごとにデータがあるので、17時のデータを入手しました。 出典: 高知大学・東京大学・気象庁提供 過去の天気の入手 過去の天気は気象庁のページから入手します。こちらも2015年1月から2016年7月までの日ごとの天気データです。場所は東京で、日中の天気を使用しました。 問題設定 問題としては「前日の17時の日本
Optimizer : 深層学習における勾配法について - Qiita
はじめに 深層学習の勾配法には様々な手法が提唱されています。その中で、どの手法を用いるのが適切であるか自分でもあまり理解できていない部分があり、今回は勾配法の中でも実際に深層学習で主に用いられている手法(SGD, Momentum SGD, AdaGrad, RMSprop, AdaDelta, Adam)について、実装することを前提に調べてまとめてみました。実装フレームワークはChainerを想定しています。 SGD SGD(Stochastic Gradient Descent : 確率的勾配降下法)は、Optimizerの中でも初期に提唱された最も基本的なアルゴリズムです。重み$\mathbf{w}$の更新は以下のように行っております。このとき、$E$は誤差関数、$\eta$は学習係数を表しています。 \mathbf{w}^{t + 1} \gets \mathbf{w}^{t} -
AIと機械学習，ディープラーニングは何が違う？ 分かりやすく説明した投稿がNVIDIA公式Blogで公開中
AIと機械学習，ディープラーニングは何が違う？ 分かりやすく説明した投稿がNVIDIA公式Blogで公開中 編集部：小西利明 2016年8月9日，NVIDIAは，日本語公式Blogにて「人工知能、機械学習、ディープラーニングの違いとは」と題する記事を掲載した。シリコンバレーを中心に活躍するジャーナリストのMichael Copeland氏が執筆した記事の邦訳版で，ひとくくりにまとめて語られることもある人工知能（AI）と機械学習，ディープラーニングとは何かについて，分かりやすく説明するものだ。 今のところ，ゲーマーに直接関わりのある話題ではないものの，いずれもGPUの話題でよく登場する単語だけに，興味のある人は目を通してみてはどうだろうか。 当該Blogに掲載されているAI，機械学習，ディープラーニングの関係を示した図。AIは包括的な概念であり，機械学習はそれを実現する手段の1つ，ディープラ
A Neural Knowledge Language Model
Current language models have a significant limitation in the ability to encode and decode factual knowledge. This is mainly because they acquire such knowledge from statistical co-occurrences although most of the knowledge words are rarely observed. In this paper, we propose a Neural Knowledge Language Model (NKLM) which combines symbolic knowledge provided by the knowledge graph with the RNN lang
女子高生AI「りんな」開発チームに呼び出された
女子高生AI「りんな」といえば、日本マイクロソフトが開発し自由奔放な発言でたびたび話題となる女子高生bot。そんな「りんな」の開発チームからお願いがあると、ある日私宛てに1通のメッセージが飛んできた――「Rinna開発チームの人が呼んでいます」。 はじまりは「Rinna」との出会い 日本マイクロソフトの女子高生AI「りんな」をベースにした会話型人工知能「Rinna」とユーザー自身のTwitterアカウントが連携できる「Rinna Conversation Service（beta）」（RCS）が、開発者向けイベント「de:code 2016」で50人に限定公開された。RCSは自分のTwitterアカウントを連携すると、リプライを受けたときにbotプログラムが稼働しRinnaが自動でリプライするシステム。その使用権（合言葉）を運よくゲットした筆者は、個人のTwitterアカウント（＠tb_b
Neural Contextual Conversation Learning with Labeled Question-Answering Pairs
Neural conversational models tend to produce generic or safe responses in different contexts, e.g., reply \textit{"Of course"} to narrative statements or \textit{"I don't know"} to questions. In this paper, we propose an end-to-end approach to avoid such problem in neural generative models. Additional memory mechanisms have been introduced to standard sequence-to-sequence (seq2seq) models, so that
深層強化学習：ピクセルから『ポン』 – 後編 | POSTD
前編はこちら： 深層強化学習：ピクセルから『ポン』 – 前編 起こっていないこと さて、方策勾配を使って生のピクセルから『ポン』をプレイする方法を学びましたが、ご理解いただけましたね。この手法は推測してチェックするという手間のかかるやり方で、”推測”は最新の方策からロールアウトをサンプリングすることを意味し、”チェック”は良い結果を導くアクションを促すこと意味します。大枠では、これは強化学習の問題への最先端のアプローチです。このような振る舞いを学習できるということは感動的です。しかしあなたが直感的にアルゴリズムを理解していて、どのように機能するか知っているとしたら、少しがっかりしてしまうのではないでしょうか。具体的に、機能しないのはどういうところでしょうか。 これと比較して、人間は『ポン』のプレイ方法をどのように学習するでしょうか。おそらくあなたはゲームを見せ、次のように言います。「パドル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LinkedIn－World's Largest Professional Network
レコメンド研究のあれこれ
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CIKM14_tutorial_HeGaoDeng.pdf
機械学習で泣かないためのコード設計
猫でも分かるVariational AutoEncoder
