ClouderaのHadoopディストリビューション、CDH5の最新版(CDH5.8)には Apache Spark 1.6 が同梱されています。一方、今年の6月にはSparkの新しいメジャーバージョン、Spark 2.0がリリースされました。 2016/03追記: この記事公開時点ではβ版としてのリリースでしたが、2016年12月からSpark2.0はGAになっています。(Tech previewではありません)。なので、サブスクリプションを購入している場合はサポート対象です。 なお、Spark 2.0 release 2 というリリースが現時点の最新になっており 1、Spark 2.1からバックポートされたパッチも含まれています。ご利用になる場合はKnown Issue 2 をご覧の上ご注意ください。 ローカルで試すのは簡単ですが、既存のCloudera Managerで構築しているク