グーグルが公開したNoSQLデータベース「Cloud Bigtable」--主要製品を支える技術とは
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月6日、同社の主要サービスのほとんどで使われている「Cloud Bigtable」テクノロジを、フルマネージド型クラウドNoSQLデータベースサービスとして公開した。 検索とクラウドの大手である同社が2006年の重要な論文で発表したBigtableは、「Gmail」や「Google Analytics」「Google Search」といったアプリケーションに利用されている。同社はこのBigtableについて、大規模なデータ採集やアナリティクス、大量のデータを扱うワークロードを目的としたものだとしている。 これまで、Bigtableは明確には一般公開されてこなかった。ただし、GoogleのスキーマレスなNoSQLの
BigtableをjQueryで操作できる「gaedirect」とは
BigtableをjQueryで操作できる「gaedirect」とは：クラウドとgaedirectでできる緊急対応マッシュアップ（1）（1/3 ページ） 緊急時の“クラウド”の有用性 このたびの東日本大震災で被災された皆さま、ご家族ならびに関係者の皆さまに、心からお見舞いを申し上げます。今回の大震災では、多くのWebサイトでアクセス不能状態が発生したのは、記憶に新しいところです。緊急時こそ、必要な情報を入手するために多くの人がWebサイトにアクセスするわけですが、このような切実に情報が必要とされるときに限って、トラフィック増大によるアクセス不能が発生してしまう状況が多々見られました。 しかし、このような緊急時対応サイトをGoogle App Engine（以後、GAE）などによってクラウド化しておけば、このような問題は解決できたといえます。クラウドを使用すれば、ユーザーアクセスが急激に増加
Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
素朴なBigtable、できること できないこと
素朴なBigtable、できること できないこと：分散Key-Valueストアの本命「Bigtable」（2）（2/2 ページ） Bigtableは「検索」ができない!? ではなぜ、Bigtableはこのようなケタ違いのスケーラビリティやコストパフォーマンスを実現できるのでしょうか。 その理由の1つは、前回も説明したとおり、それがRDBではなく「キーを指定して値を読み書きする」という、ごく単純な機能しかサポートしていないことにあります。よって、Bigtableの「テーブル」とRDBの「テーブル」は、名前こそ似ていますが、それらの機能や性質は大きく異なります。 Bigtableにできることは、以下の2種類の処理だけです。 キーに基づく行のCRUD キーに基づく「スキャン」 【1】キーに基づく行のCRUD 「キーに基づく行のCRUD」とは、個々の行に割り当てられた「キー」を指定して、行のCRU
素朴なBigtable、できること できないこと
素朴なBigtable、できること できないこと：分散Key-Valueストアの本命「Bigtable」（2）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 あまりにもRDBとは異質な「Bigtable」 前回の「もう1つの、DBのかたち、分散Key-Valueストアとは」では、連載第1回目として、クラウドコンピューティングにおける新しい潮流である「リレーショナルデータベース（RDB）から分散Key-Valueストア（分散KVS）への移行」が、どのようなパラダイムシフトをもたらすのかを解説しました。今回からは、グーグルが運用する代表的な分散KVS「Bigtable」の内部構造を紹介し、クラウドの本質をより深く掘り下げます。 前
Google File System(GFS)技術メモ — ありえるえりあ
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
【詳報】「Google App Engine」ってなんだ − ＠IT
2008/04/08 米グーグルは3月7日、「Google App Engine」を発表し、ついにクラウド向けサービスに参入した。この市場では米アマゾンが先行。フルスタックのWebアプリケーション環境を提供することを武器に、グーグルは新たな開発者の取り込みを狙う。Google App Engineの速報記事はこちら。 公開したGoogle App Engineのプレビュー版は1万人の限定サービス。大量のドキュメントとWindows、Mac、Linux向けのSDKがすでに用意されている。 Google App Engineのメリットはグーグルの各サービスを運用する高信頼なインフラを使って、Pythonで書いたアプリケーションを実行できることだろう。インフラとは具体的には分散ファイルシステムの「GFS」や、データストレージシステムの「BigTable」だ。Google App Engineのブ
たけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか
_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は multi dimensional sorted table と言われるように， primary key (row key) でソートされたテーブルでしかありません．つま り，GAE のデータストアが提供するような多様な検索機能は持たないわけ です．というわけで，GAE のデータストアを実現するために，Bigtable がどのように使われているのかを考えてみました． # この件について，もし
Google App Engineでもうちょっとがんばってみる：メール送信プログラム - builder by ZDNet Japan
さらに深く Google App Engineに関する本特集は、今回が二回目だ。前回は「Hello, World」プログラムを通じて、App Engineにおけるwebappフレームワークの使用方法と設定方法、そしてインターネットに公開する方法を学んだ。今回は、App Engineが持つ様々なAPIの使用方法を学んでいこう App Engineが持つ様々な機能 App Engineは、Webアプリを作成するために頻繁に利用される機能をAPIとして提供している。大まかに分けて、以下のような機能が存在する。 Webアプリケーションフレームワーク データストア Googleアカウントを用いた認証 外部のWebサイトへのHTTPリクエスト メール送信機能 今回は、以下のようなサンプルを作成する過程を学ぶことにする。 Googleアカウントにログインしていない状態でアクセスすると、まずログイン画面へ
Twitterもどきを作りながらGoogle App Engineの肝データストアを理解する - builder by ZDNet Japan
サービスを止めない！ サイバーエージェントに聞く高可用性の実現 そこにピュア・ストレージが選ばれた理由 勝つためのクラウド活用術 New Value on Azure ビジネスを次のステージへ！ 新OSのWin11はどう進化したか ビジネス上の役割、開発の要因と Win11が目指した5つのポイントを紹介 RPA見直される”業務”と”人”の関係 人的リソースを単純作業から解放！ 高付加価値業務への転換のために 50年の経験を持つアイネットが提供 ユーザー企業の使いやすさを第一に考えた ワンストップで使えるマネージドクラウド クラウド導入が進まない本当の課題 ITベンダーだからこそ知っている クラウドに二の足を踏む企業のボトルネック 大事なのは”仕事の段取り” 幅広い業務を任されているからこそできる ひとり情シス流の業務改善術 リモートワークを成功させる方法 必須となるセキュリティをどう強化す
Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach Mike Burrows, Tushar Chandra, Andrew Fikes, Robert E. Gruber {fay,jeff,sanjay,wilsonh,kerr,m3b,tushar,fikes,gruber}@
Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach Mike Burrows, Tushar Chandra, Andrew Fikes, Robert E. Gruber {fay,jeff,sanjay,wilsonh,kerr,m3b,tushar,fikes,gruber}@google.com Google, Inc. Abstract Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large si
BigTable: A Distributed Structured Storage System
BigTable: A Distributed Structured Storage System - 60 min - Oct 18, 2005 Jeff Dean - norfolk.cs.washington.edu/htbin-post/unrestricted/colloq/details.cgi?id=437 () Rate: In this lecture at the University of Washington, Google's Jeff Dean discusses the Bigtable content storage system used in google's backend. Download video - iPod/PSP | Embed video Download is starting. Save file to your compute
HBaseの開発者がHadoop、BigTable、分散データベースについて語る
Google が最近リリースしたGoogle Application Engineと、それが持つBigTableへのアクセス機能により、（RDBの）代替となるデータベース技術への感心が新たに盛り上がっている。数週間前にInfoQは、GoogleのBigTableデータベースから着想を得て始められた、Hypertableプロジェクトの創始者であるDoug Juddにインタビュー(source)を行った。今週InfoQは、HBase(サイト・英語)の主要な開発者であるJim Kellerman 、Michael Stack、Bryan Duxburyへのインタビューを行った。HBaseはオープンソースで分散型、列指向のデータストアで、BigTableを手本として作成された物である。 1. HBaseについて初めて聞く、と言う方に対しての説明をお願いします。 HBase はオープンソースで分散型
Bigtable - Wikipedia
Bigtable（ビッグテーブル）とは、Googleの大規模なサーバ上の大量のデータを管理するために設計された、データ圧縮機能を持つ高性能なNoSQL型のプロプライエタリのデータストレージシステムである。Google File System、分散ロックマネージャの1種であるChubby Lock Service、SSTable（LevelDB（英語版）に似たログ構造化ストレージ）、その他のいくつかのGoogleの技術を活用して構築されている。2015年5月6日、パブリックバージョンのBigtableが、Google Cloud Platformのサービスの1つとして公開された。BigtableはGoogle Cloud Datastoreのバックエンドとしても利用されている[1][2]。 歴史[編集] 2004年から開発が始まり[3]、2006年には設計が論文として公開された[4]。 Ma
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigTableの最大利用のための原則と指針
TechCrunch Japanese アーカイブ » Googleが巨大データベース「BigTable」をウェブサービスとして公開か？
8maki.jp