[Spark道場]メモリとCPU数の設定を最適化する

テクノロジーカテゴリーの変更を依頼記事元:

techblog.gmo-ap.jp

15 usersがブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Ftechblog.gmo-ap.jp%2F2018%2F09%2F06%2Fspark%25E9%2581%2593%25E5%25A0%25B4%25E3%2583%25A1%25E3%2583%25A2%25E3%2583%25AA%25E3%2581%25A8cpu%25E6%2595%25B0%25E3%2581%25AE%25E8%25A8%25AD%25E5%25AE%259A%25E3%2582%2592%25E6%259C%2580%25E9%2581%25A9%25E5%258C%2596%25E3%2581%2599%25E3%2582%258B%2F" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://techblog.gmo-ap.jp/2018/09/06/spark%E9%81%93%E5%A0%B4%E3%83%A1%E3%83%A2%E3%83%AA%E3%81%A8cpu%E6%95%B0%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%82%92%E6%9C%80%E9%81%A9%E5%8C%96%E3%81%99%E3%82%8B/">[Spark道場]メモリとCPU数の設定を最適化する</a><a href="https://b.hatena.ne.jp/entry/s/techblog.gmo-ap.jp/2018/09/06/spark%E9%81%93%E5%A0%B4%E3%83%A1%E3%83%A2%E3%83%AA%E3%81%A8cpu%E6%95%B0%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%82%92%E6%9C%80%E9%81%A9%E5%8C%96%E3%81%99%E3%82%8B/">はてなブックマーク - [Spark道場]メモリとCPU数の設定を最適化する</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

[Spark道場]メモリとCPU数の設定を最適化する

皆さんこんにちは、GMOアドマーケティングのS.Rです。大規模分散処理フレームワークである�Sparkです... 皆さんこんにちは、GMOアドマーケティングのS.Rです。大規模分散処理フレームワークである�Sparkですが、皆さんはSparkの設定を最適化したことはありますか？ Sparkは設定次第でPerformanceが10倍以上改良する可能性があります。今回はSparkの重要な設定の一部である、executorメモリ、Core数の設定の最適化例を紹介します。 1. Yarnのモード Sparkが主に使っているResource ManagerはYarnなので、今回はYarnで管理する場合の設定を紹介します。 YarnはClient（図1）や Cluster（図2）の2つのモードがあります。 ClusterモードはSparkのApplication ManagerはMaster Nodeで動作し、ClientモードではApplication ManagerはWorker Nodeで動作します