いま分散システムが面白い理由 - Blog by Sadayuki Furuhashi
最近 クラウド という単語が流行していますが、「大規模な計算資源を低コストで提供してくれるトコロがあるらしいので、自前で持っていた計算資源を委託しちゃえば運用する手間も知識も要らないし、そもそもサーバーを買う費用を省けちゃうから嬉しい」という発想に基づいているらしく、しかし技術的には 大規模な計算資源を低コストで構築する技術 がポイントでしょう。 大規模な計算資源をどうやって安く構築するか。 従来は、システムの能力を高めるためには、高性能・高機能（それゆえ高価な）マシンを導入するというスケールアップの手法が採られていたのだが、この手法では10倍に性能を上げるために、たとえば30倍のコストがかかるかもしれない。スケールアップと比べてスケールアウトでは、導入したコストにほぼ比例して、パフォーマンスの向上が見込める。 『UNIX magazine 2009年4月号』 p.31 *1 何百万円もす
peer-to-peer $B$NJ}$+$iMh$^$7$? (B (key-value store $BJY6/2q (B, February 20, 2009)
$B 2009 $BG/ (B 2 $B7n (B 20 $BF| (B key-value store $BJY6/2q (B $B%9%i%$%I (B: shudo-keyval-20090220.pdf (PDF $B%U%!%$%k (B, 690 KB) $B4XO";qNA (B: $B%*! $B%&%'%V%Z! (21 pages, HTML) scale out $B$N5;=Q (B $B!A (B consistent hashing $BJT (B: $B%&%'%V%Z! (45 pages, HTML) PlanetLab $B$N $B%&%'%V%Z! (36 pages, HTML) consistent hashing $B$J (B key-value store Overlay Weaver $B%5!
The Overall Architecture of ROMA
The Overall Architecture of ROMA ROMA Rakuten On-Memory Architecture 楽天株式会社 楽天技術研究所 西澤無我 | 2009 年 2 月 20 日 1 ROMA について 複数マシンから構成される P2P を利用した Ruby 実装の key-value store ROMA (key-value store) 2 ROMA の特徴 社内クラウド 高負荷な状況であっても、十分高速なデータアクセス ● 部分障害が起きても、データを喪失しづらい ● GET PUT GET Web ( アプリケーション ) サーバ エンドユーザ ROMA 3 Consistent Hashing Pure P2P で自律的にノードを管理 環状 (Consistent Hashing) 各ノードはユニークなハッシュ値 (SHA-
カイハツニッキ(2009-02-24)
_ [イベント] Key Value Store勉強会 すっごいひさびさになってしまいました、すいません。まだ何人かの方は読んでいるのでは、という期待と共に更新してみます。 title通り、先日(2009/02/20)Key Value Store勉強会をkzkさん、ichii386、moriyoshiと一緒に開催させていただきました、というか僕はほとんど運営できていないので、ちょこっとお話させていただきました、というのが正解です。 思えば、第16回のGREE オープンソーステクノロジー勉強会の懇親会でkzkさんやmoriyoshiと「key-valueな勉強会やったら面白くない？」とお話していて、楽天技研の方からメールいただいたのをきっかけにゆるゆると準備を始めてichii386も巻き込んで(超感謝！)、おかげさまで超豪華なかたがたのお話を聞ける濃い勉強会になってとても嬉しいです。個人的
Key-Value Store (Strage) 勉強会にお邪魔してきました - cooldaemonの備忘録
id:Voluntas さんのコネで潜り込んできました。 当初の目当ては、id:teahut さんによる Kai の発表と、首藤さんによる Overlay Weaver の発表だったのですが、面白い発表が目白押しで非常に濃い 5 時間を過ごす事ができました。 感想 素晴らしいまとめが ここ と ここ にある為、後々の自分の為に印象に残ったプレゼンの感想だけ適当に残しておく事にしました。 Groonga (Senna の後継) ペアプレゼンを始めて目の当たりにした。 メインの話者が言い忘れた補足をサブの話者が行う為、非常に解り易いプレゼンになっていたし、3割ほど漫才の要素が入っていたので目が離せなかった（ｗ； groonga.org のトップ絵は id:tasukuchan さんの飼い猫だとの事。 初期で用意する QL に Scheme を選んだのは、Parser を書くのが楽だったからな？
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
たけまる / Key/Value Store 勉強会で話してきました
_ Key/Value Store 勉強会で話してきました [kvs][kai] 2/20 に行われた Key/Value Store 勉強会 で Kai や Erlang について話 してきました．正式サイトはなさそうなので，はてブにリンクしておきま す． タグ「kvs」を含む新着エントリー - はてなブックマーク Kai という Key/Value Store について，ベースになっている Dynamo や開 発に利用している Erlang の特徴に絞って紹介しました． 田舎暮らしで終電が早いので，順番を繰り上げてもらいました．臨機応変 に対応してくださりありがとうございます．発表順が繰り上がったおかげ で，休憩時間にいろんな方に話しかけてもらえたので良かったです． なお，Kai を利用したい方は sourceforge.net からダウンロードしてく ださい．非常に簡単にですが，使い
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
分散データストレージのアーキテクチャ比較メモ - kuenishi's blog
Key/Value型が一番楽なのは、参照(ロケーション発見)の効率がよいためで、他に方法がなさげなところはみんな分かっているんだと思う。 name routing balancing schema replication membership consistency Tx*1 BigTable +Megastore layered schema (meta tablet) Centralized 列指向DB GFS依存 Chubby lock OK Dynamo Chord DHT 特になし？ Quorum-based Gossip vector clock × Cassandra Chord DHT? 列指向DB? checksum (Act-Sby) Gossip ? × Scalaris Chord# naming rule なし Quorum-based Gossip transa
key-value stores: Anti-RDBMS: A list of distributed key-value stores | Richard Jones, Esq.
Please Note: this was written January 2009 - see the comments for updates and additional information. A lot has changed since I wrote this. Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include: You're suffering from Cloud-computing Mania. You need an excuse to 'get your Erlang on' You heard CouchDB was
たけまる / ありがとうございました - 第2回 Erlang 分散システム勉強会
_ ありがとうございました - 第2回 Erlang 分散システム勉強会 [erlang] (2008-11-22 追記) 発表の概要と質疑についてのコメントを追加しました． お陰様で，大盛況のうちに 第2回 Erlang 分散システム勉強会 が終わり ました．参加していただいた皆様，ありがとうございました． プログラムには 1時間近い余裕をみていたのに，議論が白熱して30分も遅 れるとは思いませんでした．後半のスピーカーの皆様には満足にお話しい ただく時間がなくなってしまい，段取りが悪くてすみませんでした．特に， 会場と懇親会の準備をしていただいた hamano さんにご迷惑をおかけしま した．LT していただく時間もなくなってしまいましたし…． 反省を活かして，次回はタイムキーパーを設けます． ところで，このコミュニティは，言語そのものよりも，それを活かすため のアルゴリズムやメカニズ
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
第4回 memcachedの分散アルゴリズム | gihyo.jp
株式会社ミクシィの長野です。第2回、第3回と前坂がmemcachedの内部について紹介しました。今回は内部構造から離れて、memcachedの分散についての紹介をいたします。 memcachedの分散 連載の1回目に紹介しましたが、memcachedは「分散」キャッシュサーバと言われていますが、サーバ側には「分散」の機能は備わっていません。サーバ側には当連載の第2回、第3回で前坂が紹介したメモリストレージの機能のみが組み込まれており、非常にシンプルな実装となっています。では、memcachedの分散はどのように実現しているのかと言うと、すべてクライアントライブラリによって実現されます。この分散方法はmemcachedの大きな特徴です。 memcachedの分散とは ここまで数度「分散」という言葉を用いてきましたが、あまり詳しく触れてきませんでした。ここでは各クライアントの実装に共通する大ま
P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi
id:nyaxt氏との共同開発の分散ストレージ「Cagra」（かぐら）のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α２リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った（目指した）P2P分散ストレージです。 Zeroconf マルチマスタでレプリケーションするWrite 高速な分散Read オプションで高速な非同期Write インターネットレベルよりもLANレベルのマシン台数に特化 巨大データサポート 高速イベント駆動システムコール＋軽量スレッド 超アジャ〜イルな開発体制 まだα版で全部が実装されているわけではないですが、とりあえず動きます。 Zeroconf UDPマルチキャストでノードを自動的に発見するので、一切設定ファイルを書かずに動作せる
mixi Engineers’ Blog » スマートな分散で快適キャッシュライフ
今日は以前のエントリーで書くと述べたConsistent Hashingに関して語らせて頂こうかと思います。ただしConsistent Hashingはセミナーやカンファレンスなどでかなり語られていると思いますので、コンセプトに関しては深入りせず、実用性に着目したいと思います。 問題定義 分散されたキャッシュ環境において、典型的なレコードを適切なノードに格納するソリューションはkeyのハッシュ値に対しmodulo演算を行い、その結果を基にノードを選出する事です。ただし、このソリューションはいうまでもなく、ノード数が変わるとキャッシュミスの嵐が生じます。つまり実世界のソリューションとしては力不足です。 ウェブサイトのキャッシュシステムの基本はキャッシュがヒットしなかったらデータベースにリクエストを発行し、レコードが存在したらキャッシュしてクライエントに返すという流れです。ここで問題なのが一瞬
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spiteful.com
scale out の技術 〜 consistent hashing 編 (cloud 研究会, December 19, 2008)
http://as.dc.impact-ad.jp/hserver/acc_random=42417163/SITE=IT.GIHYO.DAC/AREA=PAGE/AAMSZ=468X60
http://www-masu.ist.osaka-u.ac.jp/~kakugawa/lecture/2006/fcs/note/slide1/index.html