特徴 - Amazon EMR | AWS
Amazon EMR は、ビッグデータ環境とアプリケーションの構築および運用を簡略化します。EMR の関連機能には、手軽なプロビジョニング、マネージド型スケーリング、クラスターの再設定、共同開発用の EMR Studio などがあります。 数分でクラスターをプロビジョニング: EMR クラスターは、数分で起動できます。インフラストラクチャのプロビジョニングやクラスターの設定、構成、調整に頭を悩ませる必要はありません。これらのタスクを EMR に任せて、差別化できるビッグデータアプリケーションの開発に集中できます。 ビジネスニーズに合わせてリソースを簡単にスケーリング: EMR マネージドスケーリングポリシーを利用して、簡単にスケールアウト/スケールインができます。また EMR クラスターでは、使用量やパフォーマンスのニーズに合わせてコンピューティングリソースを自動的に管理できます。これによ
apache spark - DataFrame join optimization - Stack Overflow
Broadcast Hash Joins (similar to map side join or map-side combine in Mapreduce) : In SparkSQL you can see the type of join being performed by calling queryExecution.executedPlan. As with core Spark, if one of the tables is much smaller than the other you may want a broadcast hash join. You can hint to Spark SQL that a given DF should be broadcast for join by calling method broadcast on the DataFr
Spark-sqlでHiveのメタストアを使う - Qiita
Amazon EMRとかだと最初から設定されているので手間が無いのですが、Azure HDInsightとかでは紐付けされてないので、その方法。 設定 とは言え簡単です。 基本的には、\$HIVE_HOME/conf/hive-site.xmlの中のhive.metastore.urisプロパティをコピーして、\$SPARK_HOME/conf/hive-site.xmlとして保存するだけ。 情報によってはhive-site.xmlをまんまコピーすればよい的な記述もあるのですが、HDInsightではいろいろな記述がhive-site.xmlにされており、そのままコピーしただけでは、無理でした。 hive.metastore.urisの確認 HDInsightで\$HIVE_HOMEは、/usr/hdp/current/hive-client/になりますので、/usr/hdp/curren
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is the difference between Apache Hive and Apache Spark?
