Why Momentum Really Works

We often think of Momentum as a means of dampening oscillations and speeding up the iterations, leading to faster convergence. But it has other interesting behavior. It allows a larger range of step-sizes to be used, and creates its own oscillations. What is going on? Here’s a popular story about momentum [1, 2, 3]: gradient descent is a man walking down a hill. He follows the steepest path downwa

[stealthinu]

ニューロの学習でモーメンタムだとうまく行くことの説明詳細。あとトップに学習パラメータとモーメンタムの量を変えた場合の動的デモがあってそれが視覚的にわかりやすい。勉強会用に。

[kkotyy]

ディープラーニングハンズオンで紹介されたページ。「慣性」の概念の導入により、勾配消失問題を解決するらしい。

[elu_18]

勾配降下法のモーメンタム法についての美しい可視化、インタラクティブデモがついた論文。機械学習の理解を目標とした新しいオンラインジャーナル Distillの可能性が感じられる https://t.co/APydtozRmz

[buenaarbol]

デモやっべー