［Cloud Days Osaka］楽天、独自開発のHBaseクライアントをOSS化
楽天は2012年3月9日、オープンソースソフトウエア（OSS）のカラム型データベース（DB）「HBase」のクライアント「Sculptor, a HBase Client Framework」をOSSとして公開した。大阪市で開催されたクラウドコンピューティングの専門展「Cloud Days Osaka 2012」で、楽天のエンジニアである蒋逸峰氏（写真）が明らかにした。 HBaseは、OSSの分散バッチ処理ソフト「Hadoop」をベースにしたカラム型DBである。楽天では2010年から、様々なWebサイトのバックエンドにHBaseを使っている。今回同社が開発したSculptorは、DB管理者がHBaseのメンテナンスなどを行う際に使用するDBクライアントツールである。HBaseにも標準のシェルが用意されているが、「使い勝手が悪い」（蒋氏）ことから独自クライアントを開発した。 Sculptor
もう1つの、DBのかたち、分散Key-Valueストアとは
分散KVSが苦手なトランザクションの「ACID特性」 RDBのように、テーブルとテーブルを結合（SQLでいうJOIN文）して複雑な条件検索や集計処理を一発でこなすような芸当はできません。また、トランザクションによる「ACID特性」の確保も分散KVSが苦手な分野です。 RDBが不得意な分散／拡張 そのため、これらの不足をアプリケーション側で補うためのさまざまな工夫やフォローが必要となります。その一方で、分散KVSはデータストア全体をいくらでも多くのサーバに分散（スケールアウト）できるのが最大の特徴です。 一方でこれは、RDBが最も不得意とするところです。RDBでは、その長所であるテーブル結合やACIDの確保がボトルネックとなり、複数のサーバにスケールアウトさせることが「原理的」に容易ではありません。そのため、負荷分散や高可用性を低コストで実現することが困難です。 RDBで負荷分散させようとす
NoSQL登場の背景、CAP定理、データモデルの分類
その例としてBeck氏自身が過去に取り組んできた生命保険会社のアプリケーションを例に挙げます。そのアプリケーションでは毎日のようにスキーマが変化するため、SQLとORM(Object-Relational Mapping）では対応できず、オブジェクトデータベースのGemstoneを利用することで対応できたと述べています。 こうしたSQLだけでは満たせないさまざまな要件、上記の図にあるようにスキーマの可塑性、スケーラブルなデータ読み込み、書き込み、処理の柔軟性などを満たすために、リレーショナルデータベース以外のNoSQLな製品が開発された。これがNoSQLの登場の背景にあるとBeck氏は解説します。一方で、こうしたさまざまなNoSQLを、NoSQLという言葉で表すのは適当ではないという憂慮も示しています。 Here is where the futility of defining NoSQ
クラウド上のリレーショナルデータベースはなぜ難しいのか？ BASEとCAP定理について
今週18日からマイクロソフトがラスベガスで「MIX09」を開催します。Windows 7やWindows Azureが発表された昨年秋のPDC（Professional Developers Conference）とは異なり、MIXはWebデザイナーとWebデベロッパー向けのイベントです。 ところで、デザイナーとデベロッパー向けのイベントといえばアドビシステムズのイベントが有名。その名称はたしか「MAX」ですよね......。 さて。MIX09ではWindows Azureの料金体系の発表があるかもしれないといわれています。もし発表されれば、IT系メディアのヘッドラインを飾ることでしょう。 僕が注目しているのは、先日「マイクロソフトがクラウドでリーダーシップを握る可能性が高まる」で書いた、SQL Server完全互換の「SQL Data Services」（SDS）についての具体的な内容の
もう止まらない。Amazon RDS Multi-AZ Deployments機能をリリース
本日、Amazon RDSの新機能、 Multi-AZ Deploymentsがリリースされました。 Release: Amazon Relational Database Service on 2010-05-17 これにより、RDSのダウンタイムがほぼ0になるという素敵な機能です! Multi-AZ deploymentを有効にするとプライマリDBとは別のAvailability Zoneにホットスタンバイとしてレプリカが作成されます。 レプリカはプライマリDBと同期していて、プライマリDBが止まると自動的にレプリカにスイッチします。 フェイルオーバーの仕組みはシンプルで、CNAMEレコードを変更し、スタンバイDBに向けるだけです。 スタンバイDBに切りかわるタイミングは以下のとおりです。 Availabilyty Zoneが落ちた時 プライマリDBが落ちた時 DBのスケールを変更した
RailsとCで広告システムを作って起業した話
秒間5万リクエストを処理する リアルタイム広告システム / BS3-3 新しい潮流：ビッグデータのリアルタイム応用：ユーザ事例 #QConTokyoTakahiro Yasuda
データベースの間違った使い方10項目
一般的なシステムで広く利用されているリレーショナルデータベースですが、システムの進化と共にデータベースの構造も複雑になりがちです。RestMQの作者、Gleicon Moraes氏の公開したスライドがシステムが複雑化していく様子をわかりやすく説明した上で「アンチパターン」を提示していました。 それによるとデータベースのアンチパターンは以下の通り。 動的なテーブルの作成 テーブルをキャッシュとして使う テーブルをキューとして使う テーブルをログとして使う 分散したグローバルなロック ストアドプロシージャ 使われない項目 JOIN地獄 ORMによって繰り返されるクエリ 負荷のコントロール どれも理由があって採用されるデザインですが、確かに後に問題を引き起こした経験もあり耳が痛い感じですね。スライド内ではそれぞれの問題についての解決策としてMongoDBやRestMQなどの利用を進めています。「
信じられないDB文化「固定長DB」でもあうんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
ずいぶん時間があいてしまったけど、大規模コンシューマ向けサービスRDB設計の続き。 僕はこのプロジェクトを自分のRDBの知識を使って革新してやろうと思って臨んだ。 しかし結果として逆に、コンシューマ向けサービスに最適化されたRDBの使い方について教わることになった。 ※ あと、KVSでいいじゃんって言ってる人もいるけど、それはKVS導入の苦労を知らない人だと思う。KVSの苦労は後で書く。 僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はDBやフレームワークの設計とアーキテクトっぽいことを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止
色々なPHPフレームワークのパフォーマンスを比較 - cakephperの日記(CakePHP, Laravel, PHP)
PHPフレームワークの速度比較では、HelloWorldを表示するのみの単純なアプリを用いた計測を元に比較表が作られることが多いです。特に後発のフレームワークは分かりやすい特徴付けとして速度をアピールする傾向にあるため、その比較表を元に N倍速いというアピールをしています。 PHPフレームワークを使うということは、DBまで絡めたWebアプリを作ることがほとんどなため、HelloWorldアプリの比較よりは、DBからレコード取得して表示するまでの処理速度を比較したほうがより現実に近い指標になると思います。特にCakePHP1系ではDBのデータ取得も独自ドライバになっていますし、モデルの処理も重いのでそこまで含めて他と比較したほうが良いと思ってます。 今回はDBから1レコード取得して表示するという簡単なアプリで各フレームワークの速度を評価しました。フレームワークに備わっているViewキャッシュ
〜うまく動かすMongoDB〜仕組みや挙動を理解する - doryokujin's blog
@doryokujinです。この業界で非常に強い影響力を持つ@kuwa_tw氏が某勉強会でMongoDBについてdisられており、このままではMongoDB自身の存続が危ういと思い、急遽ブログ書きました。（冗談ですよ） ザ・ドキュメント〜うまくいかないNoSQL〜 View more presentations from Akihiro Kuwano MongoDBを使っているときに出会うトラブルをうまくまとめてくださった「MongoDBあるある」的な良い資料だと思います。今日はここで書かれているトラブルの解決方法を提示したいと思います。恐らく@kuwa_tw氏は全ての解決方法を知っていながら、同じトラブルへ悩む人のためにあえてdisったのだと思います。 MongoDB はデータベースもコレクションも存在しなければ自動作成してくれる mongoシェルを起動する場合、たいていは $ mong
続・$HOME/.ssh/configを活用していますか？ — ディノオープンラボラトリ
以前の記事「$HOME/.ssh/configを活用していますか？」では、設定ファイルを少し頑張って書けば普段のSSHライフが随分変わりますよ、と紹介しました。今日はその続編です。前回よりマニアックな設定を紹介します。 2段以上先のサーバにログインする Dynamic Forward機能を使う 共通設定をまとめて書く 2段以上先のサーバにログインする 目的のサーバにログインするために、踏み台的なサーバを経由しないと入れない環境があります。例えば、dmz経由でないとDBサーバにログインできない環境、というのは良くある構成でしょう。 このような場合に、ProxyCommandパラメータが利用できます。 上の設定で「ssh db1」とすると、sshでdmzに接続し、dmzから192.168.0.201へログインします。これを利用するには踏み台サーバにncコマンドが必要ですが、大抵の環境にインスト
Oracleインスタンスの管理
データベース管理者の認証 データベースの起動 データベースの停止 データベース管理者の認証 データベースの起動や停止などの特殊な操作を実行する特別なユーザを識別するため、Oracleでは次の方式が用意されている。 オペレーティング・システム認証 パスワード・ファイル認証 ※CONNECT INTERNAL構文は、Oracleの以前のバージョンとの互換性を保つためにのみ残されている オペレーティング・システム認証 オペレーティング・システムが認証するユーザーを設定 （ＯＳからこれらの権限を付与する方法は、ＯＳによって異なる） 初期化パラメータ REMOTE_LOGIN_PASSWORDFILE を NONE に設定 次のどちらかのSQL*Plus コマンドを入力する CONNECT / AS SYSDBA CONNECT / AS SYSOPER ---> SYSスキーマに接続される。 RE
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
PostgreSQL小ネタ - めもおきば
PostgreSQLを高速化する16のポイント だからそんなせまっくるしいところでトンチンカンにdisる暇あるんだったら自分のブログでお好みの議論を書くかさもなきゃ/dev/nullにでも吐けとやんわりと言ってるんだよハゲ。 ですよねー。 というわけで、重要度によらない小ネタをいくつか。 PHPのpg_pconnect pg_pconnectに気をつけろ!!として他の方のエントリもあるとおり、pg_pconnectはApacheのmod_php環境では当然ながらピーク時にApacheのMaxClients分だけDBへの接続数が消費される事になります。 これは特にロードバランサ配下など、複数台Webサーバ置いている場合に、各サーバのMaxClientsの合計数分が必要数になります。それ以上の接続数をDBサーバ側で確保できない場合は、例えば、pg_pconnectを避ける、コネクションプーリン
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Cheap Air Tickets Migraine Pain Relief Health Insurance Online classifieds music videos Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
pg_pconnectその後 - めもおきば
pg_pconnectに気をつけろ!! pg_pconnectに気をつけろという話に気をつけるべき理由 PostgreSQLを使っている人が使いたい外部ツール というように、pg_pconnect関数を代表とするPHPにおけるDBへの持続的接続に対して議論があるわけですが、あくまで持続的接続は持続的接続にすぎず、全体でのDB接続数の制限などはできないわけです。Tomcat等に入っているようなコネクションプーリングとしての機能ががほしければApache+mod_phpだけではできないので、別途pgpoolなりpgbouncer等を用意しましょうよ、というわけですね。 とりあえずpgbouncer試してみようかなと思います。
PostgreSQLを使っている人が使いたい外部ツール | 独り言v6
前作 PostgreSQLを本当に高速化したい人のための10のポイント が結構受けたようなのと、外部ツールの話が書ききれなかったので次回作を。まあこっちは受けないと思うが、ついでに備忘録をかねて。内容としては「RDBMSだけ使ってもどうしようもないよね」というのは多い。しかし残念ながらL.starは、PostgreSQL本体に比べてこの種のツールの組み合わせについて精通しているとはいいがたい。なので、「PostgreSQLとしては、こんな部分は外部ツールに任せたいよね！」という思いをまとめるように書いてみた。 外部キャッシュ 最近のRDBMSはとても早くて、シンプルなselect * from table where id=? ぐらいだと、10000tps位平然とこなしちゃう。このくらい早いと、web server数台分ぐらいのバックエンドになれるので、それで十分ではないかすら思ってしまう
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社内サーバインフラ勉強会(DB)
株式会社アンタス - 次の時代のマーケティングテクノロジーを
