エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Spark on EMRでlog出力する - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Spark on EMRでlog出力する - Qiita
概要 Sparkは複数サーバで分散処理する影響でログ設定もちょっと面倒だったので、まとめておきます。 前... 概要 Sparkは複数サーバで分散処理する影響でログ設定もちょっと面倒だったので、まとめておきます。 前提 他のシステムがlogbackで実装されてるとしても、Sparkアプリではlog4jでログ出力するのがトラブルが少なそうです。 簡単に調べてみると、Spark(というかHadoop, EMR)は、log4jでのログ出力を前提としているようでした。 Sparkもコンパイルの依存にlog4jなどが入っているし、EMRでも実行時のクラスパスにslf4j-log4j12などがついてきます。 頑張って一つずつ依存を取り除いていけば解消出来るのかもしれませんが、僕はEMRの中をいじるのはオススメしません。きっと嵌まります。 log4j.propertiesの読み込ませ方 Sparkは複数マシンのJVMで、Driver/Executorが動くため、 それぞれに設定を行う必要があります。 静的に読む方