ChainerでLSTMでミニバッチ学習する時に注意するべきこと - あおのたすのブログ
自然言語処理でSequence to Sequenceモデルを学習する時や、単純にLSTMで入力文を固定次元ベクトルを計算したい時に、 入力が可変長であるため、ミニバッチ学習をする時に工夫が必要です。 他のフレームワーク（TensorFlowやTheano）でも同じような工夫は必要だと思われます。 例えば、 A B C D E F G A B C D E F G H I J 上記のような2つの入力があるとします。 1つ目は長さ7のSequenceで 2つ目は長さ10のSequenceとします。 オンライン学習で学習する場合は特に可変の入力でも問題ありません。 ミニバッチ学習する時に問題になるのは、 入力をmatrixで表現する時に 0 1 2 3 4 5 6 -1 -1 -1 0 1 2 3 4 5 6 7 8 9 このように1つ目の長さ7のデータに対して-1で空白を埋める必要があります。
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
Predicting sequences of vectors (regression) in Keras using RNN - LSTM
Update (24. 03. 2017): My dear friend Tomas Trnka rewrote the code below for Keras 2.0! Check it on his github repo! Update (28.11.2015): This article become quite popular, probably because it's just one of few on the internet (even thought it's getting better). Please read the comments where some readers highlights potential problems of my approach. Furthermore I am afraid I can't help you with y
Understanding Natural Language with Deep Neural Networks Using Torch | NVIDIA Technical Blog
After the machine has learned word embeddings, the next problem to tackle is the ability to string words together appropriately in small, grammatically correct sentences which make sense. This is called language modeling. Language modeling is one part of quantifying how well the machine understands language. For example, given a sentence (“I am eating pasta for lunch.”), and a word (“cars”), if th
The Unreasonable Effectiveness of Recurrent Neural Networks 文字ごとのLSTMニューラルネット言語モデルでテキスト(シェークスピア)、Wikipediaページ、コード(Linuxのカーネル)などを自動生成する話 - Qiita
興味深い記事があったので備忘録の意味も込めて、翻訳しました。 間違いが多々あるかもしれませんが、その点はご容赦を 内容は要約なので、詳しい内容を知りたい方は元記事をご覧下さい。 元記事 コード Recurrent Neural Networksは何がすごいか？ 通常は固定長のベクトルの入力と固定長の出力のベクトルのみだった。 Recurrent Neural Networksはその制限が外れている点が優れている。 下記の例のように 左から（１）〜（５）とすると （１）：Recurrent Neural Networksがないので固定長の入力と出力 （２）：連続された出力（画像から文字列出力など） （３）：連続された入力（翻訳：複数の英文入力からフランス語への翻訳など） （４）：連続された入力と出力（ビデオを入力とし、出力がラベル付けされたビデオなど） （５）：同期された連続入力と出力（ビデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reddit - Dive into anything
https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.248.4448&rep=rep1&type=pdf
階層型リカレントニューラルネットワークによる対話システムの試作