Sparkモデルのハイパーパラメータの交差検証によるチューニング

テクノロジーカテゴリーの変更を依頼記事元:

techblog.gmo-ap.jp

11 usersがブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Ftechblog.gmo-ap.jp%2F2019%2F05%2F31%2Fspark%25E3%2583%25A2%25E3%2583%2587%25E3%2583%25AB%25E3%2581%25AE%25E3%2583%258F%25E3%2582%25A4%25E3%2583%2591%25E3%2583%25BC%25E3%2583%2591%25E3%2583%25A9%25E3%2583%25A1%25E3%2583%25BC%25E3%2582%25BF%25E3%2581%25AE%25E4%25BA%25A4%25E5%25B7%25AE%25E6%25A4%259C%25E8%25A8%25BC%25E3%2581%25AB%25E3%2582%2588%25E3%2582%258B%2F" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://techblog.gmo-ap.jp/2019/05/31/spark%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E3%83%8F%E3%82%A4%E3%83%91%E3%83%BC%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%81%AE%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC%E3%81%AB%E3%82%88%E3%82%8B/">Sparkモデルのハイパーパラメータの交差検証によるチューニング</a><a href="https://b.hatena.ne.jp/entry/s/techblog.gmo-ap.jp/2019/05/31/spark%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E3%83%8F%E3%82%A4%E3%83%91%E3%83%BC%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%81%AE%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC%E3%81%AB%E3%82%88%E3%82%8B/">はてなブックマーク - Sparkモデルのハイパーパラメータの交差検証によるチューニング</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Sparkモデルのハイパーパラメータの交差検証によるチューニング

こんにちは、GMOアドマーケティングのS.Sです。機械学習の予測モデルを作成するときに、データをもとに... こんにちは、GMOアドマーケティングのS.Sです。機械学習の予測モデルを作成するときに、データをもとにしてモデルのハイパーパラメータを調整できると便利です。例えばRandom Forestのモデルを学習する場合だと、木の深さはデータセットのサイズなどに応じて適切な値を設定する必要があります。この値を何度か変更しつつ結果を確認するのは大変です。また同一のtrain set/validation set分割のもとで候補の中から選んだハイパーパラメータがよいかどうかを調べると、validation setにoverfitしてしまうという問題もあります。このような問題を解決するために交差検証(https://ja.wikipedia.org/wiki/%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC)では、次のような手順で性能を測定します。データをランダムにシャッ