シンプルな構造で拡張性と可用性を保持するKVS「Riak」--Hadoopとも融合
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Riak」はNoSQLの中でもキーバリューストア（KVS）に分類され、リレーショナルデータベース（RDB）のような複雑なデータの取り扱いやトランザクションの仕組みを持たない一方で、そのシンプルなデータ構造をベースにした高い拡張性と可用性を特徴としています。ここではRiakのメリットと技術的な概要を説明し、いくつか代表的なユースケースを取り上げてご紹介します。 コンシステントハッシュで分散させる Riakは米Basho Technologiesによって2008年に開発が始められ、オープンソースソフトウェア（OSS）として実装が進められてきました。Riakは基本的なアーキテクチャとしてAmazon Web Servicesの「Dynamo
QConTokyo 2015 で喋ってきました - kuenishi's blog
QCon Tokyo 2015 Conference｜QCon 東京 2015 カンファレンス QConTokyo 2015で、データベースアーキテクチャーの動向と使い分けというお題で発表する機会があった。Bashoは2014年2015年にかけてQConのグローバルなゴールドスポンサーをやらせてもらっていて、ロンドン、サンフランシスコでも社員が喋った。東京は…英語以外の言語での開催はここだけなので、で、日本語でQConぽい話ができる…ということで僕が喋ってきました。 speakerdeck.com 有料イベントで話すのは初めてなので、果たして対価に見合う話を聴衆にできるのか全く自信はなかった。裏番組はGoogleの中の人が話すGolangセッションだから、そもそも人が来ないかもしれない。と思ったら一番広いホールじゃねえか。しかも、いつもはデータベースとかインフラ系の技術に興味持って集まる人
Riak 2.0のPlumtreeを読む — そこはかとなく書くよん。 ドキュメント
Riak 2.0のPlumtreeを読む¶ 昨年のRiakアドベントカレンダーでしのはらさんが、 Riak 2.0 : クラスタ全体のデータ共有を効率 という記事を書かれています。 これによると、Riak 2.0ではgossip protocolに加えて Plumtreeという論文 をもとに実装されるツリー状の経路を通って通信するプロトコルが追加される とのことです。 紹介されている スライド を読んでいて興味が湧いてきたのでriak_coreを読んで みることにします。 ちなみにlogを見ると、2013年8月1日にこれらの変更が最初に入ったようです。 tl; dr;¶ Riak 2.0からgossipプロトコルが効率良くなるよ 10台以上から有効化されるよ 01/23追記: 間違いでした！常にplumtreeが使われていて、gossipを使うのは最初のtreeを作るところだけでした。 用
riak_coreのcommandを実装してみる — そこはかとなく書くよん。 ドキュメント
riak_coreのcommandを実装してみる¶ すでにかなり時間がたってしまいましたが、 前回 ではriak_coreを使 うアプリケーションの雛形を作成するところまでを試しました。 今回は、実際にriak_coreの上でアプリケーションを実装してみます。 riak_coreを使うアプリケーションとは、riak_core上に存在するvnode群に対して コマンドを送り、 何かしらの処理を行い、 (必要であれば)結果を返す という一連の操作を行うロジックを実装したものです。ノードのjoinや stabilizeなどの面倒な部分はすべてriak_coreが面倒を見てくれるため、アプ リケーション実装者はこの3つだけを考えればいいわけです。 1. command¶ まずはコマンドを送る部分です。 riak_core_vnode_master に以下の3種類のコマンドが定義されています。 co
riak_coreを使ってみる その1 — そこはかとなく書くよん。 ドキュメント
riak_coreを使ってみる その1¶ riak はBasho社が作成している分散データベース です。実はRiakはriak_coreという分散処理を行う機能と、riakというデータベー ス機能(Riak K/V)とに分かれています。 そして、riak_coreは汎用的なフレームワークになっており、riakというデータ ベース以外の用途にも使えるようになっています。 今回は、途中までではありますが、触ってみたところを書きます。 riak_coreが提供する機能¶ http://www.slideshare.net/argv0/riak-coredevnation 参照 Virtual Node Preference Lists Ring Event Watcher Node Event Watcher 参考文献¶ 最初に読む場所http://basho.com/where-to-star
FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Riakアドベントカレンダー書いたりしたので報告。あと今年のまとめ。 - After Coding
A New Concept of Consistency in Distributed Database and Implementation in Riak
運用が楽になる分散データベース Riak
Livin' on the Edge with Al Tobey - Food Fight