エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
EMRでSpark環境を用意する - goodbyegangsterのブログ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
EMRでSpark環境を用意する - goodbyegangsterのブログ
AWSのEMRを利用して、Apach Spark環境を作成してみます。EMRのバージョンは、5.14.0です。 EC2キーペア... AWSのEMRを利用して、Apach Spark環境を作成してみます。EMRのバージョンは、5.14.0です。 EC2キーペアの用意 EMRで作成されたEC2で利用する、EC2キーペアを用意しておきます。 EMRでクラスタ作成 advanced optionsを選択 AWSコンソールのEMRコンソールに移動して、 Create cluster をクリック。 クラスタ作成画面にて、 Go to advanced options をクリック。 EMRで作成するソフトウェア環境の定義 Software Configuration で、HadoopとSparkを選択。 今回はPython3系にてPySparkを起動させたいため、software settingsにて、以下のjsonを入力しています。 [ { "Classification": "spark-env", "Configuration