エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
いまさらながら最適化アルゴリズム(optimizer)を図と表でまとめる - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
いまさらながら最適化アルゴリズム(optimizer)を図と表でまとめる - Qiita
はじめに 最近、optimizerについて勉強する機会がありました(E資格対策) Adamや最急降下法、SGDなど名... はじめに 最近、optimizerについて勉強する機会がありました(E資格対策) Adamや最急降下法、SGDなど名前やぼやっとした印象は持っていたものの、 数式含めての理解はあまりできてはいなかったんですよね 参考:非常にわかりやすくまとめてあります https://qiita.com/omiita/items/1735c1d048fe5f611f80 詳細な説明はすでにまとめてありますので、 ここでは図と表を使って、「覚えるために」まとめなおしたいと思います ※図はブログに以前掲載したものからの修正です 図でまとめる 図を使って、SGDからAdamまでの流れをまとめてみました まとめてみると分かりますが、 でどのアルゴリズムも基本的に表すことができることが分かります (まあ更新式なのでそれはそうなんですが…) ※表現として適切かは怪しいところがあります 例えば $(\nabla_w\m