Dynamo: Amazonの高可用性Key-value Store[和訳]
Dynamo: Amazonの高可用性Key-value Store.markdown Dynamo: Amazonの高可用性Key-value Store[和訳] 原題：Dynamo: Amazon’s Highly Available Key-value Store 原文: Amazon's Dynamo - All Things Distributed (PDF Version) This article is translated by @ono_matope. Please contact me if any problem. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubram
![Dynamo: Amazonの高可用性Key-value Store[和訳]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
Community Blog - CDBを利用した簡易KVS - ログ処理編
大量のリクエストを捌くWebサイトを構築するには、さまざまなノウハウがあります。例えばオライリーの書籍『ハイパフォーマンスWebサイト』では、クライアントに配信するコンテンツを最適化することでパフォーマンスの向上を図っています。今回は、Pythonを使って月間10億を超える（！）リクエストを捌いている、株式会社クロスリスティングの方に、そのノウハウの一部を寄稿していただきました。 また、本記事の内容はPython Hack-a-thon 2010.07でのプレゼンテーションを元にしています 自己紹介 現在、私はクロスリスティングという会社で、広告配信システムとか、その周辺の新規商品関連の研究開発をやっています。メインのプログラミング言語はPythonです。自社でのシステム開発は基本的に全てPythonを使っています。自分は研究開発的なポジションですが、技術チームが開発しているプロダクション
GAEでKVS(キーバリューストア)の特徴を利用する方法 | TechBooster
Google App Engine(以後GAE)はデータストアという一種のデータベースを用いて、データの保存(永続化)を行います。 本サイトでも下記リンクでその方法について解説しています。 Low Level APIでGAEのデータストアにアクセスする Low Level APIでデータストアからデータを取得する このデータストアは特徴として、RDB(リレーショナルデータベース)ではなくKVS(キーバリューストア)というデータ管理方式をとっています。 リレーショナルデータベース(RDB)は、データベースの各テーブルに役割を持たせてテーブル間に関係性を与えることで、一つのデータを役割毎に複数のテーブルに分割して管理します。 キーバリューストア(KVS)は、こちらもデータの管理方式の一つで、名前からイメージできるように「キー」と「値」という関係でデータが保存されます。KVSでもテーブルに似た概
Debianにkey-value storage systemの「Voldemort」をインストールする
データベースについて調べ物をしていると、「Voldemort」(ヴォルデモート)という key-valueデータベースを見つけました。 Project Voldemort Voldemortといえば、ハリー・ポッターに出てくる 「例のあの人」「名前を呼んではいけないあの人」 とか呼ばれている魔法使いの名前ですね。 名前が気に入ったので、Debianにインストールしてみます。 Javaのインストール VoldemortはJavaで出来ていますので、Javaの実行環境を準備しておきます。 以前、DebianにJavaをインストールしたときのメモはこちら。 Debian lennyにJavaをインストールする モジュールの取得と設定 Quickstart ここに記載されている手順を参考にインストールしてみます。 今回は、/optにモジュールをダウンロードし、展開しました。 # cd /opt/
NoSQLメモ(Hishidama's NoSQL(KVS) Memo)
ちなみに、MySQL・PostgreSQLはRDBの名前、PL/SQLはOralceの独自言語、psqlはPostgreSQLの対話型ツール（SQL*PlusはOracleの対話型ツール）。 分散Key/Valueストアの特徴 キーバリューストア（key/value store・KVS）は、キー（key）を指定して値（value）を保持・取得できるデータベース。 って言うと、どのDBもそうじゃん！(爆) KVSもRDBも“どちらもDBだから”という理由で比較されるけれども、構造や出来る事を考える上では、KVSはマップ（連想配列）と対比して考える方が分かりやすいと思う。 乱暴に言うと、KVSは、ファイルシステム上に置かれているマップである。 （古くからこの業界にいる方は、「KVSはISAM・VSAMだ」とおっしゃっている模様。確かIBMの汎用機（メインフレーム）で使われていた用語だったかな）
クラウド向け分散データベースの事例
はじめに 本連載ではクラウドコンピューティングで利用される分散データベースの技術について紹介しています。第1回はクラウドコンピューティングの技術について概説し、その環境に対応するための新たな分散データベースの必要性について述べました。 今回はクラウド向け分散データベースの具体的な事例として、Googleの「BigTable」とAmazonの「Dynamo」について紹介したいと思います。少し耳慣れない言葉も出てくるかと思いますが、最後までお付き合いいただけると幸いです。 一般にハイスループット（高効率）とローレイテンシー（低遅延）がトレードオフの関係にあることはよく知られていますが、クラウドシステムもその例外ではありません。これらは最近でも、クラウド技術のシステム特性を理解する上で欠かせないトピックですが、分散データベースに関しては、ハイスループット重視のBigTableに対し、ローレイテン
ここが大変だよBigtableとGoogle App Engine
ここが大変だよBigtableとGoogle App Engine：分散Key-Valueストアの本命「Bigtable」（3）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!? 月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine（以下、App Engine）が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
KVS系NoSQLのまとめ（Hibari、Dynamo、Voldemort、Riak編）
序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっています。 本連載では、この書籍の内容から、主要プロダクトを紹介している第5章を抜粋し、そのエッ
NoSQL afternoon in Japan Kumofs & MessagePack
Data Models and Consumer Idioms Using Apache Kafka for Continuous Data Stream...Erik Onnen
KVSを使った高速配信Webサーバ·クリティカルスピード MOONGIFT
クリティカルスピードは〜のオープンソース・ソフトウェア。高速なレスポンスを行うWebサーバは誰しもが願う所だ。Googleがあれだけ大きく成長したのは検索のアルゴリズムはもちろんのこと、高速なレスポンスにも一因があったと思われる。欲しい情報がすぐに手に入るというのはとても気分がいい。 表示が速い！ Webサーバで高速化を行うための手法は幾つか存在する。並列化したり、サーバのスペックを上げたり、ネットワークを強化すると言った方法の他、システム側でも対応できるものがある。その一つ、高速配信サーバのクリティカルスピードを紹介しよう。 クリティカルスピードの最大の特徴はKVS（キー・バリュー・ストア）をWebサーバとして使っていることだ。KVSとしてTokyoTyrantを採用しているが、今後はLuxIO、kumofs、ROMAといった他のKVSにも対応していくとのこと。WebサーバはPlack/
分散データベース管理システムCassandraをDebianで動作させる
ひょんなことから、Cassandraという分散データベース管理システムを見つけました。 http://incubator.apache.org/cassandra/ どうやら、元々はFacebookで開発されたもので、今はオープンソースソフトウェア として公開されているようです。 Debianにインストールして、起動や停止、データの登録を試して見ます。 前提条件 CassandraはJavaで動作しますので、Javaのインストールが必要です。 今回は、Javaはインストール済みとして話を進めます。 Javaのインストール モジュールのダウンロードと設定 個人ルールで申し訳ないのですが、Apacheプロジェクトものは/usr/local/jakartaに まとめることにしてます。 Cassandraも/usr/local/jakarta以下に配置することにします。 モジュールのダウンロードは
Apache Cassandra | Apache Cassandra Documentation
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
key-valueストアの基礎知識
首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は Software Design 誌 2010年 2月号に掲載された以下の記事の元原稿です。 Software Design 誌編集部の了承の元に、本ウェブページに掲載しております。 首藤一幸: "key-valueストアの基礎知識", Software Design 2010年 2月号, p.14-21, (株)技術評論社, 2010年 1月 18日 クラウド、特にPaaS向けのソフトウェア開発が現実のものとなり、 そこではリレーショナルデータベースとは違ったデータベースが 勢いを増しています。 その代表であるkey-valueストアを解説します。 もくじ key-valueストアとは なぜkey-valueストアか key-valueストアの使いどころ key-valueストアとNoSQLの
Amazon::SimpleDBで、URLに対し評価を保存するサンプルサイト
Amazon::SimpleDBで、URLに対し評価を保存するサンプルサイト スポンサードリンク Tweet （2016-03-02 追記） 文中で紹介しているNet::Amazon::SimpleDB::Simpleはもうなくなっているため使えません。よって、文中サンプルはそのままでは動きませんが、 http://cl.hatenablog.com/entry/amazon-simpledb-lib というエントリにて、Amazonが配布しているAmazon::SimpleDB::Clientを使って書き換える方法を用意しております。それに従い修正したソースは文末に用意しました。リンク先のサンプルサイトでは書き換え済みです。 〜〜〜 うちとしてはWeb制作業務をやっておらず、そのくせAJAXとやらを覚えてしまったもんだから、RIPのWebクライアントはRIPの進捗状況をAJAXで更新すり
第1回 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp
今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。 Kaiとは Kaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。 Kaiは多
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://webmemo.uzuralife.com/article/2873
okuyama_20101101_nosqlafternoon
分散Key-Valueストアの本命「Bigtable」