XGBoostの論文を読んだのでGBDTについてまとめた - Dropout

はじめに XGBoost論文 目的関数の設定 勾配ブースティング まとめ 参考文献 はじめに 今更ですが、XGboostの論文を読んだので、2章GBDT部分のまとめ記事を書こうと思います。*1 この記事を書くにあたって、できるだけ数式の解釈を書くように心がけました。数式の意味をひとつひとつ追っていくことは、実際にXGBoost（またはLightGBMやCatBoostなどのGBDT実装）を使う際にも役立つと考えています。たとえばハイパーパラメータがどこに効いているかを理解することでチューニングを効率化したり、モデルを理解することでよりモデルに合った特徴量のエンジニアリングができるのではないかと思います。 また、この記事に限りませんが、記述に間違いや不十分な点などあればご指摘頂ければ嬉しいです。 XGBoost論文 目的関数の設定 一般的な状況として、サンプルサイズがで特徴量の数がのデータに