atsuizoのブックマーク - はてなブックマーク

CentOS7 で Apache Hadoop の完全分散モードを使ってみる - CUBE SUGAR CONTAINER
以前、このブログでは OSS 版の Apache Hadoop を疑似分散モードでセットアップする方法を試した。疑似分散モードというのは、一つのホスト上に必要なデーモンを全て立ち上げる方法を指す。このモードを使うと HDFS が使えるような、なるべく本番に近い環境が手軽に作れる。 blog.amedama.jp ただ、疑似分散モードでは本当にちゃんと動作するのかが確認しづらい箇所もある。それは、主にホストを分割してネットワーク越しにやり取りをする部分で、例えばファイアウォールの設定など。そこで、今回は Apache Hadoop を完全分散モードでセットアップしてみることにした。完全分散モードというのは本番運用されるのと同じ環境で、それぞれのデーモンを異なるホストで動かすやり方。完全分散モードのセットアップ方法については次のドキュメントを参照する。 Apache Hadoop
atsuizo 2017/11/14
hadoop
リンク
CentOS7 で Apache Hadoop の疑似分散モードを使ってみる - CUBE SUGAR CONTAINER
Apache Hadoop はビッグデータ処理基盤を構築するための超有名なオープンソースソフトウェア。 Google の発表した論文を元にして MapReduce アルゴリズムと Hadoop Distributed File System (HDFS) が実装されている。この Hadoop/HDFS を中心として Apache Hive や Apache HBase などのミドルウェアが動作する一大エコシステムが形成されている。今回は、そんな Apache Hadoop を CentOS7 で使ってみることにする。尚、Apache Hadoop 関連の OSS をインストールするときは、いくつかの会社が出しているディストリビューションを利用することが多い。例えば Cloudera CDH や Hortonworks HDP など。しかし、今回はそれらのディストリビューションを使
atsuizo 2017/11/11
hadoop
リンク
sysbench を使って MySQL をベンチマークする - CUBE SUGAR CONTAINER
MySQL の設定や構成またはバージョンの違いによるパフォーマンスの変化を調べるにはベンチマークツールが必要になる。今回は sysbench というツールを使って MySQL のパフォーマンスを測ってみよう。検証環境には CentOS7 を使った。 $ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) $ uname -r 3.10.0-229.11.1.el7.x86_64 MySQL (MariaDB) のインストールまずは測定対象となる MySQL をインストールする。 CentOS7 では MySQL の代わりに MySQL フォークの MariaDB を使用することになる。 $ sudo yum -y install mariadb-server インストールできたら MariaDB のサービスを開始す
atsuizo 2015/12/21
mysql
リンク
1