State-of-the-Art を達成したニューラル機械翻訳 2017 年 - ディープラーニングブログ

Ryobot です． 今週 5 日連続でニューラル機械翻訳の論文解説をやりました． もとは NAIST の第１回ニューラルネットワーク勉強会の発表資料で，大幅に加筆してひとりアドベントカレンダー？ に変貌しました． 今回紹介した論文は大規模な対訳コーパスにおける評価スコア上位 5 手法で，最先端のニューラル機械翻訳を網羅しています． 近年の傾向をまとめると LSTM を使わず CNN 等の並列化が容易な手法を使う 大規模コーパス + 巨大なモデル + 大量の GPU というわけで厳しい世界ですね． 1日目 GNMT Google翻訳の中身 GNMT です． 2016 年までのニューラル機械翻訳を最速で把握できる資料になっています． NMT 初心者におすすめです． 2日目 MoE MoE は最大 13 万のサブネットワーク (パラメータ数 1300 億！) を持つ超巨大ネットワークを条件付き