Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
GAEでunownedな関連を定義する方法 - ひがやすを技術ブログ
Google App Engineでは、関連の実装として、キーの親子関係で実現するownedな関連と、キーの親子関係ではなく、単に相手のキーを持つだけのunownedな関連があります。 unownedな関連は、RDBMSにおけるFKを持っているようなものだと思うとイメージしやすいと思います。 例えば、次の例では、FooがBarをunownedな関連先として定義しています。 @PersistenceCapable(identityType = IdentityType.APPLICATION, detachable = "true") public class Foo { @PrimaryKey @Persistent(valueStrategy = IdGeneratorStrategy.IDENTITY) @Extension(vendorName = "datanucleus", ke
Entity Groupとその簡単な構成法 - uehaj's blog
GAE/Jのメモね。 以下、エンティティブループでトランザクションが可能な理由を，同一マシン上のテーブルに配置しているから、と予測していましたが、当時BigTableの実装方法は不明であり推測でしたた。実際には、rootによる楽観的排他制御でトランザクションを実装しているとのことであり、結果的に「同一マシン上である」という理由に必然性は無いと思われます。修正してお詫び申し上げます。(2010/6/2) Entity GroupはGAE上のトランザクション処理の制約に関係する*1、インスタンス間の関係です。UMLでいうとコラボレーション図上にツリーとして現れてくるような関係です。またこれは、従来のリレーション（1:1、1:多とか、到達性とか）とは本来直交する概念です*2。 Entity Groupの意味ですが、同じEntity Groupに所属するEntity群の間でのみ、トランザクションが
クラウドのデータサービスを掘り下げる
本年度の「丸山先生レクチャーシリーズ」では、第1回から一貫して分散データベースの重要性が指摘されつつも後回しとなっていたのだが、第3回のレクチャーでついに「クラウド上のデータサービス」がテーマに据えられ、クラウド上のデータサービスについて、その最前線の技術を解説した。 データベースをクラウド上に展開するには 丸山先生レクチャーシリーズ第3回は、1月13日に日本IBM箱崎事業所で開催された。今回のテーマは「クラウド上のデータサービスの利用をめぐって」であり、過去2回のレクチャーでも折りに触れて言及されていたクラウド上のデータサービスをメインに据えた講演が行なわれた。 最初に行なわれた丸山不二夫氏による講演は「Cloud上の分散データベース―BigTable、SimpleDB、Azure SDS―」と題するもので、既に実用に供されているクラウド上のデータサービスを中心に取り上げ、その出現の背景
Hypertable のリード開発者が Hadoop と分散データベースを語る
最近、データベース関連の話題が盛り上がっている。IBM はこのほど(source)、Amazon EC2 上で動作するクラウドエディションをサポートする EnterpriseDB (source)に出資したし、Amazon は去年の終わりごろに独自のクラウドデータベースをリリースした。Google の BigTable(source) も、オープンソースではないにもかかわらず、コミュニティによる学習や研究の対象となっている。このような流れの中(source)、ふたつのオープンソースプロジェクト HBase(source) と Hypertable (source)が、 BigTable にインスパイアされたスケーラブルなデータベースを実装するために Map/Reduce プラットフォームである Hadoop (source)を活用している。InfoQ は Hypertable 産みの親で、
たけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか
_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は multi dimensional sorted table と言われるように， primary key (row key) でソートされたテーブルでしかありません．つま り，GAE のデータストアが提供するような多様な検索機能は持たないわけ です．というわけで，GAE のデータストアを実現するために，Bigtable がどのように使われているのかを考えてみました． # この件について，もし
GoogleのBigTableの特長の1つはエンジンとストレージが疎結合であること - llameradaの日記
GoogleのBigTableの特長の1つはエンジンとストレージが疎結合であることである。 MySQLやPostgreSQLではSQLクエリを受け付けるマシン(エンジン)と、実際にデータを格納するマシン(ストレージ)は同じである。つまり、エンジンとストレージが密結合である。 エンジンとストレージが密結合である利点は、ストレージへのアクセスが、ネットワーク越しの場合に比べて高速なことである。 しかし、この利点は薄れつつある。ディスクへのアクセスはメモリへのアクセスに比べれば遥かに低速である。そのため、ストレージをメモリにキャッシュして運用することが多い。そして、常にストレージをメモリにキャッシュするならば、ストレージがローカルディスクにあるが、ネットワーク越しの別マシンにあろうが大差ない。必要に応じてメモリに読み込むだけである。 GoogleのBigTableではストレージはGFS上に格納さ
Matzにっき(2008-02-08)
<< 2008/02/ 1 1. [言語] 「ハッカーと画家」の著者が新しいLisp系言語「Arc」を公開 | エンタープライズ | マイコミジャーナル 2. 「セキュリティ、なめんなよ!」 なめねこも一緒に情報セキュリティ強化宣言 | ネット | マイコミジャーナル 3. 「サイオステクノロジーはグルージェントの未来技術に期待し子会社化」：ITpro 2 1. [Ruby] Nimble Method: Garbage Collection is Why Ruby on Rails is Slow: Patches to Improve Performance 5x; Memory Profiling 2. [言語] LuaJIT roadmap 2008 3. [Ruby] What will Matz do? 4. [Ruby] EURUKO 2008 − European Ruby
グーグル技術講演会 - kenmazのはてな
先週末、渋谷のセルリアンタワーでグーグルオープンハウス(技術講演会)に行ってきた。会場の受付では、氏名と会社名が書かれたネームプレートをもらった。今日は公演後に懇親会的なものがあるので、そこでのネタづくりに、ってことなんだろう。到着と同時にオープンハウスがスタート。 グーグルの開発環境のお話 ひとつめのセッションは今年？グーグル入社したばかりの方の、グーグルの開発環境の話。グーグルでは「百聞は一見にしかず」ならぬ「デモは一見にしかず」という考え方が重要らしくとにかくデモを作って見せろ、と言う感じらしい。あと、意外に感じたのがDesign Docとよばれるドキュメントの作成にかなり重点をおいていること。なにか新しいアプリケーションを作るときは、これはこういう背景があって、こういう問題があって、そこでこのアプリケーションではこの問題をどういう風に解決して、、内部ではどういう処理をして、どういう
steps to phantasien t(2007-01-11) 最近みた TechTalks: Mondrian Code Review On The Web
Python の親玉である Guido Van Rossum が, Google での初仕事(?) として Mondorian というコード・レビュー用ウェブアプリを 作ったよ, という話. ミーハー的に視聴. 前半はレビューとは何か, なぜそれが必要なのか, OSS でのレビューなどについて説明し, 後半から Mondrian 以前の Google 社内でのレビュー体制とその問題点を指摘, Mondrian の話と続く. Google では SCM に Perforce を使っており, レビューは patch + メールベース. Mondrian 以前は Perforce の CL クライアントをラップする g4 というスクリプトを使ってレビューを支援していた. これを使うと patch をメールでレビュアに飛ばしたりできる. その飛ばしたメールを起点にレビュアとレビュイが議論し, "l
Bigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)
2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデータベースも作ってるんだぜ, という話. BigTable という名前だけは以前から O'Reilly Radar などに登場していた. ようやく公式な文書があらわれた. BigTable は GFS をはじめとする Google インフラの上に作られた分散データベース. 少し変わったデータモデルと, 運用までワンセットのヘビーな実装を持つ. 実装の話もまあ面白いんだけれど, それよりデータモデルが印象的だった. 先にその
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
汝の隣人のブログを愛せよ | LOVELOG
BigTableの最大利用のための原則と指針
HBaseの開発者がHadoop、BigTable、分散データベースについて語る
TechCrunch Japanese アーカイブ » Googleが巨大データベース「BigTable」をウェブサービスとして公開か？