論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ

こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f

[stealthinu]

Attention使ったNMTのTransformerについての解説。半年たってすでにTransformerの手法が主流となってSOTA競ってる状況らしい。ディープラーニング系は半年で様相が一気にかわるな…

[elu_18]

Attention Is All You Need の詳細な解説を書きました (4日目)． LSTM も CNN も使わず Attention こそ最強だと証明した機械翻訳の現王者です． 加法注意・内積注意・ソースターゲット注意・自己注意の違いをわかりやすく説明していま

[akarikawai]

あとで読む

[hyper-pigeon]

Transformer