Python: LightGBM の学習率を動的に制御する - CUBE SUGAR CONTAINER

LightGBM の学習率は基本的に低い方が最終的に得られるモデルの汎化性能が高くなることが経験則として知られている。 しかしながら、学習率が低いとモデルの学習に多くのラウンド数、つまり計算量を必要とする。 そこで、今回は学習率を学習の過程において動的に制御するコールバックを実装してみた。 きっかけは以下のツイートを見たこと。 validation scoreをモニタリングして、lr=0.1で限界に達したらlr=0.01に下げる、みたいなことやったら面白い気がする。誰かcallback使って実装して欲しい https://t.co/iaG6rNo1t5— mamas (@mamas16k) 2019年7月17日 なるほど面白そう。 下準備 使用するライブラリをあらかじめインストールしておく。 $ pip install lightgbm seaborn scikit-learn 学習率を動