強化学習における好奇心

【2020年アップデート版】 強化学習では，環境で得られる報酬がスパースである場合，うまく学習することができない．この問題を解決するための手法として，強化学習のエージェントに「好奇心」を与える研究が注目されている．本スライドでは，深層強化学習の登場以降に発表された「好奇心」を利用した強化学習の研究をまとめた．特に主要ベンチマークであるMontezuma's Revengeで高いパフォーマンスを発揮したアルゴリズムについて詳しく解説する．また，「好奇心」による探索を報酬がスパースな場合以外の強化学習に適用した場合の最新研究についても紹介する． 現在は，本資料の修正・アップデート版を以下で公開しています． 【強化学習における好奇心】 https://www.slideshare.net/ShotaImai3/curiosity-reinforcement-learning-238344056

[sh19910711]

2019 / "報酬発見前のエージェント: ランダムな探索をしているに等しい > 最初の報酬発見が重要 / 報酬がスパースな環境で探索基準なしで報酬に到達することは難しい > エージェントに未知の部分に対する興味を与える"

[stealthinu]

強化学習になぜ「好奇心」を導入するか「好奇心」をどう実現するかかわかりやすく解説されてる。学習後とのKLダイバージェンスが大きいほど新しい知見ありと考えるのね。

[mojimojikun]

( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ