AdaGrad + RDAを実装してみた - Christopher-727の日記

AdaGrad + RDA 「結局オンライン最適化はAdaGrad1択だよね」 「AdaGrad + RDAでの分類が精度一番良いみたいです」 「AdaGrad + RDAの方が実装がはるかに簡単」 と立て続けに聞いたのでAdaGrad + RDA*1を理解するために実装してみた。 結論から言うと、確かに実装は簡単だし精度もでました。 損失関数と正則化項 AdaGrad自身は最適化手法です。すると適用するには最適化問題の形で記述する必要があります。 分類問題における定式化では損失関数と正則化項を足したものになります。今回の損失関数は ヒンジロスとなります。 は1 or -1のラベル、はベクトル空間上にマッピングしたデータです。 正則化項は-正則化、-正則化など色々有りますが今回は-正則化となります。 劣微分 で、最適化問題を解くわけです。今回はやの偏微分を用いるのですが、max関数や絶対値