論文解説 Depthwise Separable Convolution for Neural Machine Translation (SliceNet) - ディープラーニングブログ

こんにちは Ryobot (りょぼっと) です． テンソル分解は 2017 年の密かなブームだったかもしれない． 論文数は多くないが，テンソル分解を用いた手法が中規模言語モデル [1]，大規模言語モデル [2]，機械翻訳 (本紙) [3]，動作認識 [4] で軒並み SOTA を達成している． Breaking the Softmax Bottleneck: A High-Rank RNN Language Model [1] Factorization tricks for LSTM networks [2] Depthwise Separable Convolutions for Neural Machine Translation [3] Learning Compact Recurrent Neural Networks with Block-Term Tensor Decompo

[gayou]

「[deeplearning]

[elu_18]

巨大な ResNet の畳み込み層を分解しパラメータを削減した SliceNet の解説を書きました (5日目)． 行列分解は今年の密かな流行りで，言語モデルの SOTA も巨大な LSTM 層を行列分解します． https://t.co/A0C4AdpS9A