論文解説 Convolutional Sequence to Sequence Learning (ConvS2S) - ディープラーニングブログ

声に出して読みたい英語． Also, RNNs aren't dead. Autoregressive CNN/intra-attentive models *are* RNNs. Their state is their output.— Colin (@colinraffel) 2017年8月9日 RNN は死んでいない．自己回帰 CNN と注意 (の再帰的構造) は RNN だから．それらの状態は (内部状態ではなく) 出力にある． こんにちは Ryobot (りょぼっと) です． ConvS2S は脱 RNN による系列方向の並列化という風潮を決定づけたニューラル機械翻訳の手法です．GNMT より高性能かつ訓練も 5 倍高速です．従来の意味で RNN は死にましたが，冒頭の意味で RNN は生まれ変わりました． WMT'14 の BLEU スコアは英仏: 40.51, 英独: 25