クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。 | 三度の飯とエレクトロンApache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！ Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処理のためのライブラリなので、複数ホストで試さなければ本当の性能は得られません。 そこで、ここからはSparkのクラスタを構築していきたいと思います。 Apache Mesosは汎用のクラスタマネージャー 分散処理クラスタを構築する方法として、SparkのドキュメントにApache Mesosを使う方法が書かれています。 Apache Mesos Mesosは汎用のクラスタマネージャーです。具体的に何をしてくれるかというと、クラスタを管理して、ホストごとのリソースの余裕を見て、タスクを振り分けたりしてくれます。 もうひとつ、YARNという選択肢があります。
