Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。
Gradient Boosting Decision Tree(GBDT)を勉強したので、その概要とRでのパッケージの簡単な使い方を乗っけておきます。 1. そもそもGBDTってなんだよっていう話。 単純に言えば、複数の決定木を作成して、集団で学習させる方法の事です。 １本決定木を作り、上手くモデルで説明が出来なかったobservationに対して重みを付け、重みのついた状態で次の木を作り、また重みを付けて・・・ というステップを指定した本数分だけ繰り返します。 誤差に対して学習しなおしてくれるので、決定木よりもっと良いモデルが出来上がります。 理論の詳細はこちらの本を参考にしていただければと。 英語版は著者サイトで無料公開されています。英語大丈夫な人はこちらを参照するとよいかと。 http://statweb.stanford.edu/~tibs/ElemStatLearn/ あとこのイ
最近、流行のxgboost - puyokwの日記
kaggle で Description - Otto Group Product Classification Challenge | Kaggle に参加していますが、こちらのフォーラムで Achieve 0.50776 on the leaderboard in a minute with XGBoost - Otto Group Product Classification Challenge | Kaggle というタイトルのものがありました。xgboost についてはこちらが参考になると思います。 ブースティング決定木の概念: http://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf 概念と使い方: Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。 変数のこと:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
合成変量とアンサンブル：回帰森と加法モデルの要点
