論文解説 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (MoE) - ディープラーニングブログ

こんにちは Ryobot (りょぼっと) です． 本紙は ICLR 2017 のポスターセッションでもっとも注目を集めた論文である．写真の右側の Google Tシャツの男性が第一著者の Noam Shazeer，左側の女性が第二著者の Azalia Mirhoseini (ソース)． この論文では傍若無人なほど巨大な (Outrageously Large) 混合エキスパートと少数のエキスパートを選択するゲーティングネットワークを用意し，ゲーティングで選択した少数のエキスパートのみ順/逆伝播を実行することで巨大なモデルであっても少ない時間で訓練できる．機械翻訳と言語モデルの SOTA を達成した． 著者に猫の概念で注目を集めた Quoc Le，深層学習のゴッドファーザー Geoffrey Hinton，分散システムの大御所 Jeffrey Dean が会している点でも注目を集めた． WM

[sh19910711]

"MoE: 複雑な問題を分解して簡単なサブ問題を解決する戦略を志向したモデル + 起源は Geoffrey Hinton の研究グループが提案した混合エキスパート [Jacobs, 1991] / 各エキスパートは特定の構文や意味を処理する" / 2017

[mooz]

13万個のエキスパートからなる MoE まさに outrageously large だ