AdaGradが12倍速くなる魔法

AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization John Duchi, Elad Hazan, Yoram Singer. JMLR 2011. 丁度、 @echizen_tm さんがブログを書いてました。 AdaGrad+RDAを実装しました。 通常のSGDなどは学習率をだんだん減衰させながら勾配を足していくわけですが、どの様に減衰させるかという問題にいつも頭を悩ませます。 AdaGradでは最初の学習率こそ外から与えますが、減衰のさせ方や減衰率といったハイパーパラメータから

[userhiro]

adamoptimizerで十分なんかな。とはいえ考え方だけは理解しておくか

[rishida]

コンパイラのオプション強い

[o_mega]

“sqrt 命令が8〜105サイクルなのに rsqrt 命令が驚きの1サイクルと書かれています”

[TOKOROTEN]

「もはやsqrtがボトルネックになる時代ではない」　これは激しい

[mooz]

-Ofast によるベクトル化。面白いなー。