Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた自然言語処理word2vecRNNAttention Attentionを理解するために、学習した事を整理します。 参考文献 ①「深層学習による自然言語処理」 講談社 坪井祐太 海野裕也 鈴木潤 著 ②「ゼロから作るDeep Learning2 自然言語処理編」 オライリー 斎藤康毅 著 ■RNN(recurrent neural network) 文献①によると、再帰ニューラルネットワーク(RNN)は可変長の入力列を扱うことに優れたネットワーク構造で、前の時刻の隠れ状態ベクトルと現時刻の入力ベクトル(または下層の隠れ状態ベクトル)を使って、現在の隠れ状態ベクトルを更新するとのこと。 う~ん、分かりにくいので絵にしてみました。 上図のxは入力、hは隠れ層です。時刻tで