Spark configプロパティをまとめてみる (1) – OpenGroove

Sparkの設定やチューニングにおいてはいくつかの方法があり、かつSpark standaloneなのかYARNなのかによってもやり方が変わってわかりにくいのでまとめてみた。 （追記：情報は2014年8月時点のものです） Sparkのプロパティをセットするにはいくつか方法があるが、コード中にハードコーディングする方法がある。 val conf = new SparkConf() .setMaster("local") .setAppName("CountingSheep") .set("spark.executor.memory", "1g") val sc = new SparkContext(conf) （Sparkドキュメントより引用） 特定のプロパティをSparkConf内でハードコードしたくない場合、初期化状態でSparkConfを定義した後、オプションで任意のプロパティをセット

[nobusue]

CDH5.1では /usr/lib/spark/bin/spark-submit でした。confの方は /usr/lib/spark/conf/spark-defaults.conf.template をコピーして同ディレクトリに spark-defaults.conf として配置すれば、spark-submitやspark-shellに反映されました。