Kaggle Haliteを強化学習で解こうとした話 - threecourse’s blog

本記事は 強化学習苦手の会 Advent Calendar 2020 - Adventar 8日目の記事とするべく、コンペ終了後に書いた記事に追記しました。 7日目の記事(Kaggleの強化学習コンペがグダグダだった話 - Qiita)への返歌みたいなものになります。 雑感 強化学習でどこまで行けるんだろう、ということで勝敗に拘らず強化学習を試してみましたが、何も考えないと思っていたより厳しいなぁという印象でした。 「岩塩のあるところまで行く」→ まぁまぁ簡単にできる 「岩塩のあるところまで行って、スタート地点まで戻ってくる」→ 工夫しないと厳しい 「岩塩のあるところまで行って、スタート地点まで戻ってくるのを複数の船で協調する」→ さらに厳しい 結局、カリキュラムラーニングじみたことをやって、「岩塩のあるところまで行って、スタート地点まで戻ってくるのを複数の船で協調する」までは出来ました。

[sh19910711]

"強化学習は至るところにバグを埋め込むポイントがあり、スクラッチで書くのはリスク / pfnet/pfrl: PyTorchベース + 経過時間やスコアなどのを容易にログ出力できたり、TensorBoardに対応"