KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog

週末KagglerとしてavazuのCTR予測コンペに参加しました。Kaggleは機械学習版のISUCONだと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に行けたので、そこまでの試行錯誤をメモしておきます。謎ノウハウ(?)を持っているガチ勢じゃないと上位に行けないものかと思っていましたが、基本に忠実にやればこれくらいの順位(上位7.6%)に行けましたし、他の人の工夫を垣間見えるという意味でも現場の機械学習やり始めたエンジニアにお薦めできそうでした。 参加の動機 目標感: 頑張りすぎずに上位10%以内に入る 試行錯誤 AthenaとRedashによる探索的データ解析 ベンチマークをまず超える 線形分類器でシンプルな特徴量 時系列要素を忘れていて過学習発生 特徴量エンジニアリン

[mrkn]

参考になる

[cocoasynn]

かっこいい

[yubessy]

実務に役立ちそうなアプローチでとても参考になる...!

[ozw3253t2c0390a]

“GBTM”

[hiddy216]

素晴らしい！楽しそうだなー

[todesking]

KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog

[hiromichinomata]

AthenaとRedashでEDA

[synbizmix]

基本に忠実であれば10%いけるという事例。上位10%でも戦える分野たくさんあるので、エンジニアは狙うべき。/KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog

[tarotheripper]

なるほど

[zou3dazou]

"学習器の出力する確率の平均とテストデータの平均が一致するかはやってみないと分かりません。平均がズレている場合にそこの補正をしましょうというのがprobability calibrationという方法"

[yujiorama]

経験の有無で結果も変わるみたい

[karaage]

メモ