最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog

こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ

[chezou]

パラメータを削減するスパース化とMoEの話。MoEはマルチGPUで処理するのにある程度向いてそうだな。しかしとくながさんが追っかけてる分野が速攻実用フェーズに入ってるの見ると移り変わり早いなぁ

[arrowKato]

プルーニング pruning

[stibbar]

https://www.sciencedirect.com/science/article/pii/S0031320315001971

[Nyoho]

かなりたくさん研究が紹介されていて好感。