LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
12/13のarXivTimes輪講では、CNNの自然言語への適用としてQRNNの論文をピックアップしました。また、前回の分散表現の流れで、グラフの埋め込み表現の論文も扱いました。 QUASI-RECURRENT NEURAL NETWORKS
はじめに 以前，KerasやTensorFlowを用いたRNN（LSTM）による時系列データ予測の導入記事を書いたのですが，予測対象が単純なsin波だったため，リカレントなネットワークの効果を実感できずに終わってしまっていました．また，その記事を書いた後あたりにCNNを活用して計算処理の並列化を進め，LSTMよりも高速な学習を行うQRNNが発表されたため，今回はもう少し複雑な時系列情報に対してQRNNの効果を試しつつ，CNNやRNNとの効果の違いをみてみます． なお，備忘録としてざっくりとしたQRNNの解説を載せていますが，より詳しく，わかりやすい以下のような解説が多数あげられていますので，詳細等が気になる方はそちらをご覧ください． 参考文献 QRNNでLSTM(深層学習を用いた時系列分析)をスピードアップ(次世代システム研究室様) Quasi-Recurrent Neural Netwo
QRNNでLSTM(深層学習を用いた時系列分析)をスピードアップ - GMOインターネットグループ グループ研究開発本部
[mathjax] 序文 お疲れ様です、次世代システム研究室のYTです。 普段からミッションとして金融データとにらめっこの毎日を過ごしています。 金融データの分析では、時間の経過に伴う変化に手がかりが含まれることが多いです。 深層学習で時系列を分析するときには、LSTM(Long Short Term Memory)をはじめとしたリカレントネットワークを使うと便利です。 深層学習は優れた学習能力がある一方、学習に結構時間がかかります。数時間などザラ、腰をすえた学習となると数日、数週間になることもあります。 この学習時間が短縮できれば、トライ＆エラーを通してよりスピーディーに有益なルールを発見できるようになります。 資金力を頼りに強力なGPUマシンを揃えるのが基本ですが、もっと懐にやさしいアプローチがほしいところです。 そこで今回は、LSTMを高速化するアルゴリズム QRNN(Quasi-R
GitHub にある DingKe/qrnn/ の サンプルコード imbd_qrnn.py https://github.com/DingKe/qrnn/ は、 from keras.datasets import imdb で、kerasの組み込みデータセット imdb を 読み込んで いる。 このデータは、以下 の 公式解説 に よる と、 Keras Documentation データセット 「IMDB映画レビュー感情分類」 IMDB映画レビュー感情分類 感情(肯定/否定)のラベル付けをされた、25,000のIMDB映画レビューのデータセット。レビューは前処理済みで、各レビューは単語のインデックス(整数値)のシーケンスとしてエンコードされている。便宜上、単語はデータセットにおいての出現頻度によってインデックスされている。そのため例えば、整数値"3"はデータの中で3番目に頻度が多い単
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自然言語におけるCNNの攻勢：QRNNにせまる
【Python】QRNNでカオス時系列データ予測【Keras】 - Qiita
Quasi-Recurrent Neural Network（QRNN）の GitHub既存スクリプト で、NLPデータ以外 の 数値時系列データ の ２クラス分類タスク が 解けるはず な 件 - Qiita