エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
モデルにおいて汎化が起こる理由と、論文の検索キーワード生成
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
モデルにおいて汎化が起こる理由と、論文の検索キーワード生成
1/23のarXivTimes輪講では、DNNのような学習データの全パターンを覚えきることが可能なモデルでも汎化が... 1/23のarXivTimes輪講では、DNNのような学習データの全パターンを覚えきることが可能なモデルでも汎化が起こる理由を調査した論文と、論文の検索キーワードを生成する論文を扱いました。 A Bayesian Perspective on Generalization and Stochastic Gradient Descent DNNは膨大なパラメーターを持ち、やろうと思えば学習データを覚えきることが可能です。ただ、それはあくまで「やろうと思えば」であり、自然なデータを学習すること(=汎化な解への到達/flat minima)に比べて無理をしているのでは(Krueger et al. (2017))?という観点から、その「無理しなければいけない度合い」を計測することで学習データのみから汎化性能を予測できるのでは、という点に挑戦した論文です。 この論文では、モデルの想定する事前分布と