Raspberry Pi 2 x 4台でHadoopの完全分散モードを動作させる 前編 - MUDAなことをしよう。
2015年10月11日 前回「完全分散モードでちょっと手こずっています」という終わり方をしてしまいましたが、その後参考になりそうなサイトが見つかったので、それをベースに何とか完全分散モードの動作確認までたどり着きました。 Setting up a Basic Hadoop Cluster 上記の内容をベースに、省略されていたり足りないところを補足しながら進めていきます。それから、補助的に以下のサイトも参考にさせていただいています。 最弱のHadoopクラスタをRaspberry Piで構築する なお、今回はとりあえず動かすことを目的としているので、余分な手順が含まれている可能性があります。予めご了承ください。 ではでは、４台のRaspberry Pi 2にRaspbianをインストールして、初回起動したところからスタートします。 。。。この検証のために新たにRaspberry Pi 2を２
Raspberry Pi上でHadoopクラスタを構築する 〜インストールから擬似分散モードのテストまで〜 - MUDAなことをしよう。
2015年10月3日 今回はお勉強モードです。 普段のお仕事の中で並列分散処理基盤と関わることがあって、それで以前にRaspberry Pi上でのSpark環境構築やらStorm環境構築やらをやったことがあるのですが、並列分散処理基盤の元祖とも言えるHadoopについては、ほとんどノータッチでやってきてしまいました。 多分これからはHadoopよりSparkを使うことの方が多くなってくる気はしているのですが、Sparkを使いこなしていく中で、クラスタマネージャとしてYARNを使わなくてはいけないときがくるかもしれません。 ということで、一回本腰を入れて、Hadoop（特にYARN）を理解するための環境構築をやってみようと思います。利用するのは、おなじみRaspberry Pi 2 Type Bです。 あと、Hadoopについては本当に一度も触ったことがない（本を少し読んだ程度の知識があるだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
