第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
HBase - HBase でのバルクロード
概要 HBase では、さまざまな方法でデータをテーブルにロードすることができます。最も簡単な方法は、MapReduce ジョブから TableOutputFormat クラスを使うか、または通常のクライアント API を使う方法ですが、これらの方法は必ずしも最も効率的な方法ではありません。 ここでは、HBase のバルクロード機能について説明します。バルクロード機能は、MapReduce ジョブを使って、HBase の内部データ形式でテーブルデータを出力してから、実行中のクラスタにデータファイルを直接ロードします。バルクロードを使うと、HBase API を使う場合よりも、CPU とネットワークの負荷を低く抑えることができます。 MapReduce ジョブによるデータの準備 バルクロードの最初のステップでは、HFileOutputFormat を使って MapReduce ジョブから H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
