地震データを検索できるようにし、結果を地図上に表示する - Qiita
アメリカ地質調査所が公開している地震の発生データを検索可能にし、結果を地図上にマッピングする方法を紹介する。 環境 CDH 5.4.2 Cloudera Manager を使ってクラスタを準備するか、クイックスタートVMを準備すること。VMの準備方法についてはこちらを参考。 データセット 最近発生した地震のデータセット。 アメリカ地質調査所 より取得する。 検索システムのアーキテクチャ データセットの取得と HBase へのロード HBaseにTSVデータを投入する(ImportTsv)の記事を参照。 Solr から HBase テーブルのインデックス作成 HBaseのデータからSolrの検索インデックスを作成するの記事を参照。 検索結果を地図上に表示する http://<hueサーバのノード>:8888/indexer にアクセスし、 earthquake-collection を選択し
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） | gihyo.jp
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） 1月21日に開催された「Hadoop Conference Japan 2013 Winter」の基調講演では、先日、ついに1億ユーザを達成したメッセージングサービス「LINE」で利用されているHBaseの実態について、NHN JapanでLINEのストレージを担当する中村俊介氏が紹介を行いました。本稿ではその概要をレポートします。 NHN Japan 中村 俊介氏 最も重要視するのは「ストレージの高可用性」、HBaseはそのためにある FacebookやTwitterを抜くスピードで急成長を遂げるLINE。1月18日にはサービス提供開始からわずか19ヵ月で1億ユーザを達成し、大きな話題となりました。 急成長中のサービスを提供するために、その裏側で動くストレ
HBase徹底入門はCloudera Managerユーザーの必読書 - nobusueの日記
仕事でOpenTSDBを使っていることもあり、HBase徹底入門を購入しました。 HBase徹底入門 Hadoopクラスタによる高速データベースの実現 作者: 株式会社サイバーエージェント鈴木俊裕,梅田永介,柿島大貴出版社/メーカー: 翔泳社発売日: 2015/01/28メディア: 大型本この商品を含むブログを見るまだざっとしか読んでいませんが、 HBaseの概要／アーキテクチャの解説 HBaseのインストールとアプリケーション開発 スキーマ設計のポイント Cloudera Managerによるクラスタ環境構築 Cloudera Managerによる運用監視 トラブルシューティング などなど、HBaseに限らず、CDH5ベースでHadoopクラスタを運用している人(もしくはこれから運用しようとしている人)にとっては必読の書です。 少なくとも俺得であることは間違いありません。 今までなんとな
HBase Filterクラスメモ(Hishidama's HBase Java Filter Memo)
HBaseのJava APIのFilter系クラスは、ScanやGetにおける条件を指定するクラス。 Filter自身はインターフェースで、色々な具象クラスが存在する。 Filterの使用方法の基本形 Filterのインスタンスを作り、条件を指定する。 そしてScanにセットしてHTable#getScanner()でデータ取得を実行する。 後はScanの使用方法と同様。 import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hba
HBaseへデータ投入(importtsvの使い方) - くまくまーZ
create 'sample', 'data' ('a'..'z').each {|i| put 'sample', i, 'data:alpha', i} scan 'samples' ROW COLUMN+CELL a column=data:alpha, timestamp=1333387516755, value=a b column=data:alpha, timestamp=1333387516772, value=b ... 手ごろなfixture作成にはよいが、これで1億件やる気はしない b) importtsv の使い方 既存のインポートツールを利用する方法。 入力データはtsv,csvに限定されるが、hbase.jarに含まれるImportTsvが目的に合致する。 実行にはhbase.jarファイルのフルパスが必要なので、まずはjarをlocateなどで探す。 % lo
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
HBaseを触ってみよう
HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのスキーマ設計の考え方の違いなど、とっつきにくい部分が多々あり、戸惑う方が多いように思います。本連載では、そういう方々を対象にできるだけ分かりやすく実例を交えながら解説していきたいと思います。 はじめに 近年、「NoSQL」の技術が注目を集めています。NoSQLとは、"Not Only SQL"の略で、SQLを用いないデータベースの総称です。NoSQLというとCassandra、Redis、Mongo
Apache HBase ™ Reference Guide
This is the official reference guide for the HBase version it ships with. Herein you will find either the definitive documentation on an HBase topic as of its standing when the referenced HBase version shipped, or it will point to the location in Javadoc or JIRA where the pertinent information can be found. This reference guide is a work in progress. The source for this guide can be found in the _
PHP から Thrift で HBase のテーブルを取得する
このドキュメントの内容は、以下の通りです。 thrift によるソースコード生成 HBase の起動 テーブルの作成 サンプルコード あわせて読む PHP で Thrift 経由で HBase のテーブルを取得してみます。 thrift によるソースコード生成 thrift コマンドで PHP 用のコードを生成します。 thrift --gen php ~/dev/hbase-0.92.1/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift 以下のファイルが生成されます。 薫 $ find gen-php gen-php gen-php/Hbase gen-php/Hbase/Hbase_types.php gen-php/Hbase/Hbase.php gen-php/Hbase/Hbase.php の下の行をコメ
Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった
Facebookが15日に発表した新しいサービス「Facebook Messages」は、チャットやつぶやき、そして電子メールなど、自分宛のテキストやメッセージをすべて1つのインボックスで管理できると発表されました。 同社が15カ月かけて開発してきたこの新サービスのバックエンドデータベースは、これまで同社が大規模運用してきたMySQLでも、同社が開発したNoSQLデータベースのCassandraでもなく、グーグルのBigTableをモデルとしてオープンソースで開発された分散データベース「HBase」でした。 Facebookのソフトウェアエンジニア、Kannan Muthukkaruppan氏がFacebookにポストした記事「The Underlying Technology of Messages」で、その技術的背景が紹介されています。 MySQLとCassandraが落選した理由 H
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Should I use prefixfilter or rowkey range scan in HBase
HBaseのアーキテクチャを理解しよう
HBaseを使って簡易ブログサービスを作ってみよう