第1回 大規模データではRDBMSのどこがボトルネックになるのか？ | gihyo.jp
RDBMSはオワコン？ 「右を向いても左を向いても“ビッグデータ”というキーワードが闊歩する時代に、いまさらRDBMSの話題？」 本連載のタイトルを見てそう思われたかもしれません。 「ディスクベースのRDBMSはオワコン、これからは○○（お好きなアーキテクチャを入れてください）の時代だ！」 とおっしゃる方もいるかと思います。 しかし、むしろ多くの企業がビッグデータに注目しているおかげで、RDBMS側でも大規模データを取り扱うニーズが増えています。 大規模データを取り扱う時にボトルネックとなる5つのポイント 数百ギガバイトといったレベルのRDBMSであれば、現場のエンジニアの方にとってはあたりまえの世界でしょう。しかし、テラバイトを大きく超えたデータを扱う場合には、ボトルネックの傾向が変化するのはご存じでしょうか。 次の図は、RDBMSにまつわるボトルネックを示したものです。 図1 大規
レプリケーション＆負荷分散！
pgpool-IIのレプリケーション 「第2回：コネクションプールで接続負荷を軽減！（http://www.thinkit.co.jp/article/98/2/）」は、pgpool-IIのコネクションプール機能を使って、接続のオーバーヘッドを減らし、性能を向上させる方法について紹介しました。 今回は、レプリケーションと負荷分散について説明します。レプリケーションは可用性を、負荷分散は性能を向上させる機能です。もちろんこれらの機能は前回紹介したコネクションプール機能と組み合わせて使うことができます。 レプリケーションとは、文字通りデータの複製（レプリカ）を複数のPostgreSQL上に作成する機能です。いずれかのサーバーに障害が発生しても、複製したデータを使って直ちに別のサーバーでサービスを継続することができるため、可用性が向上します。 pgpool-IIのレプリケーションは、クライアント
IBM、DB2のオープンソース化へ前向き
IBMは、同社のデータベース管理ソフトウェア「DB2」をオープンソースライセンスの下で提供することに前向きだ。 IBMは、DB2を早急にオープンソース化する予定はないが、現在の市場環境を考えるとそれは避けられないだろう、と語るのは、IBM UKの情報管理ソフトウェア担当ディレクター、Chris Livesey氏だ。 Livesey氏は、「われわれは、すでにDB2の簡易版を無料で提供している。これは、コア（DB2）技術の公表に向けた第一歩だ」と述べ、さらに次のように続けた。「IBMがこれまでに行ってきたオープンソース市場への貢献を見ても分かる通り、われわれは、オープンソース市場をリードしたいという強い願望を抱いていた。オープンソース市場は全体的に見て興味深い市場だ。未来が開かれ、経済の見通しが明確化するにつれ、誰もがオープンソースにより深く関わるようになるだろう。われわれはそれに向け、順調な
CouchDBがApache化 | Unofficial DB2 BLOG
CouchDBというデータベースソフトがあります。 - Apache CouchDB スキーマレス（Schema Free)で、REST形式でアクセス可能なデータベースです。データはJSON形式でやり取りされるようになっており、WEBアプリケーションからの利用に特化したような形になっています。確かにJavaScript上でJSONで持ったデータを、サーバに転送して、わざわざRDBMS形式に変換して保存するよりは、そのままJSONで格納できるほうが楽ですね。以前紹介したAmazon Simple DBにちょっと似ています。 CouchDBはApache Software Foundationに寄贈される予定だそうなのですが、そのCouchDbの作者をIBMが雇って、フルタイムで開発できるようにしたそうです。 - New Gig (作者の方のblog) - Welcome to IBM, Da
PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃 ― TechTargetジャパン
オープンソースのPostgreSQLでシステムを構築 10代、20代を中心に急激な普及を見せる“ケータイSNS”。会員数が865万人に達する「モバゲータウン」や月間118億ページビュー（PV）を誇る「mixi」（約6割がモバイル経由）など、大手SNSサイトが存在感を増している（数値はいずれも2007年12月現在）。そうした中で先行組を激しく追撃しているのが、オープンドアが運営する携帯電話向けのSNSサイト「大集合NEO」だ。 2007年1月にスタートした大集合NEOは、SNSのみならず、アバターやゲーム、小説、動画、日記、チャットなどのサービスをすべて無料で楽しめるのが特徴だ。アバターやサイト内通貨の使い勝手の良さで先行サイトと差別化を図り、2007年夏に50万人だった会員数が2008年2月時点で2倍の100万人に達している。 その大集合NEOのシステム基盤を担っているのは、MySQLとオ
sqlite: SQLite データベースと会話するプログラム
sqlite: SQLite データベースを管理するプログラム (This page was last modified on 2003/06/29 16:11:13 UTC) SQLite ライブラリには sqlite というシンプルなコマンドライン ユーティリティが含まれます。これを使うと、ユーザは手作業で SQLite データベースに接続して SQL コマンドを実行できます。この文書では sqlite の使い方に関する概略を紹介しています。 起動する sqlite を起動するには単に "sqlite" とタイプし、その後ろに SQLite データベースを保持するファイル名を付けます。ファイルが存在 しない場合は、自動的に新しく作られます。起動後 sqlite プログラムは、SQL をタイプするためのプロンプトを表示します。 SQL ステートメント（終了はセミコロン）をタイプし、 "E
PostgreSQLの可用性と拡張性を向上 PostgresForest
PostgresForestは，複数台のPostgreSQLサーバーを仮想的に1つに統合し，並列分散動作させるソフトウエアである。同ソフトを導入することで，PostgreSQLで構築したデータベース・サーバーの可用性や拡張性を向上できる。 この数年間でLinuxを中心としたオープンソース・ソフトウエア（OSS）は，目覚しい発展を遂げている。特に，Webサーバーに「Apache HTTP Server」，アプリケーション・サーバーに「Tomcat」，データベース・サーバーに「PostgreSQL」を用いた3層システムは，Webシステムの定番と呼べる存在になった。 ただし，Webシステムの可用性や拡張性を考慮した場合には，これらのソフトウエアだけでは不十分だ。Webサーバーとアプリケーション・サーバーはともに，複数台を並列に動作させれば可用性や拡張性を確保できる。しかし，データベース・サーバー
Near Borderline » Refactoring Databases: Evolutionary Database Design
相変わらずバカ高いAddison Wesleyの”Refactoring Databases”を、何となく。 最近のソフトウェア開発は、短期間での仮リリース→改良の繰り返しによる、いわゆるRAD (Rapid Application Development)な手法がクールとされている。こうした「agileにあらずんばソフトウェア開発者にあらず」的な風潮の中、そしてデータベースが多くのソフトウェアにとって必要不可欠にも関わらず、データベースの（スキーマの）リファクタリングについては、あまり語られてこなかったように思う。この”Refactoring Databases”は、そんな”agile database”のための方法論にスポットを当てた、少しニッチだけど割と重要そうな本だ。 Refactoring Databases: Evolutionary Database Design Marti
[Vol.2] RailsとMySQLによる大規模サイト構築実験
vol2でも引き続き、負荷分散・高可用性を備えるDBとWEBアプリケーションフレームワーク(以下AF)のセットアップを目指します。 デュアルマスタ構成に複数台のスレーブがぶら下がっています。 もう少し、詳しく今考えているアーキテクトを見ていきたいと思います。 最小構成: マスタ2台, スレーブ1台 最低3台のDBを用意します。 なぜ3台か？スレーブを追加する際には、マスタのスナップショット取得のためにマスタへの更新を停止する必要があります。データ量が増えると、マスタを停止してスナップショットを取得するには、長時間を要するため、これは現実的な解ではない。 そこで、スレーブをマスタのスナップショットとして考え、スレーブへのレプリケーションを一時停止し、スレーブのスナップショットを新規に用意したスレーブにコピーしレプリケーションを設定する。 スレーブが1台しか存在しない場合でのスレーブ停止時は、
![[Vol.2] RailsとMySQLによる大規模サイト構築実験](https://cdn-ak-scissors.b.st-hatena.com/image/square/b32c7212a71686a423457f26d96cfa0955f315a3/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAEn0k_txPto9Jq098uA-Y2iq1hriiYhTsUYOaZ_EnnE3uRWq2cwG4HHQ35bO_YnRmt1BOAc7gh6xjYRd9h9WjwEM3OUQi1efJplNOq7I6OAbgf7HNXnG0ZEZOllpBklk0n5aBmNOCr2yAs1StqmGl4A%3Dw1200-h630-p-k-no-nu)
DB DesignerとCakePHPの連携·dbdesigner2cake MOONGIFT
個人的にPHPで開発をするなら使っているのがCakePHPだ。善し悪しはあれど、Rails風に使えるので、慣れと言う意味で便利に使っている。 だが、最大の問題はDBデザインとの連携がとれない点だった。Railsで言えばMigrationにあたる機能だ。これがないのが問題だと感じていたが、もっと素敵なものが存在していた。 今回紹介するオープンソース・ソフトウェアはdbdesigner2cake、DB DesignerとCakePHPを連携させるソフトウェアだ。 DB Designerは、Webアプリケーション開発の際に良く利用されるDB設計ツールで、オープンソースで手軽に利用できる利点もある。このdbdesigner2cakeではDB Designerで作ったXMLファイルを利用する。 生成されるのはControllerとModel、そしてViewだ。いわゆるScaffoldのようにDB定義
cakePHP と DbDesigner ← Neo Inspiration
ブームになりつつあるようですね Dbdesigner は実はうちの開発にcakeと同時に取り入れたものだったりします。 かなり便利なので、普通にDB作る時の設計でも使えます。 http://dbdesigner.iimp.jp/ Cakeforgeに cake と接続するツールが落ちてます http://cakeforge.org/frs/?group_id=162 ↑これはまだ未使用です。いずれ使いますが！ 実際使うとどんなかんじか 左のバーとダブルクリックだけでほとんどできます。 以下デフォルトのツールバーでの説明です １：テーブルを作る ⇒左バーの上から１０個目のボタンを押して 画面をどこかクリック ⇒空のテーブルができるので、ダブルクリックして中身を入れていきます。 ２：テーブル同士のリレーション ⇒リレーションIDとかは cakePHP のままに自動で貼ってくれます。 ⇒左バーの
【コラム】OS X ハッキング! (236) SQLiteが広げるこれからのアプリケーション | パソコン | マイコミジャーナル
Appleの07年度第3四半期決算が発表されました。地域別のMacの出荷台数を見ると、欧米のほうが日本より伸び率が高いんですね。話はガラッと変わりますが、ウチの3歳の娘が、幼稚園で覚えてきたのか事あるごとに「欧米か!」を連発して困ります……。 さて、今回は「SQLite」について。Tiger/Spotlightの登場以降、急速に増えつつあるSQLite内蔵アプリケーションの一端を知ろう、という主旨だ。 SQLiteを使うというトレンド SQLiteは、スタンドアロンのデータベース管理ソフト(DBMS)。名前が示すとおり、PostgreSQLやMySQLなどと同じSQL構文を使うDBMSだが、サーバとしてシステムに常駐することはなく、ライブラリとして他のアプリケーションから呼び出される形での利用が一般的。大規模なDBの管理こそ不向きだが、SQLの命令やトランザクション処理を実行できる。
DB Designer 4 の HTMLReport プラグインの改造
DB Designer 4 の HTMLReport プラグインの改造 2007-04-01-1: [MySQL] オープンソースの DB モデリングツール DB Designer にバンドルされている HTMLReport を少し改造してみました． 改造前の HTMLReport は，出力される HTML ファイルのモデル名が，以下のように強制的に「plugin_tmp.xml」という文字列になります． 本来ここは，[オプション] - [一般設定] - [モデル名] で指定した文字が入るのが妥当だと思います． また，[オプション] - [一般設定] - [コメント] で入力したコメントがどこにも反映されません． HTML レポートを出力するたびに，モデル名を書き換えて，さらにコメントを加えるのは大変面倒なので，きちんとモデル名が反映されて，コメントも出力できるように改造してみました． 改
cl.pocari.org - オープンソースの DB モデリングツール DB Designer 4 の日本語化
オープンソースの DB モデリングツール DB Designer 4 の日本語化 2006-09-28-3: [MySQL] http://dbdesigner.iimp.jp/ すばらしいです．DB Designer 4 の日本語化． メニューやオプション画面などが日本語化されています． また，HTML Report プラグインの不具合も fix されています． 上書きしても，日本語化できない場合は，上記サイトにあるように C:\Documents and Settings\<USERNAME>\Application Data\DBDesigner4 の中身を全部削除すればいいけど，設定したオプションが消えてしまう予感がするので， DBDesigner4_Translations.ini DBDesigner4_Translations.txt Language.ini だけを消しても
トップページ - DB Designer 4 日本語化サイト
オープンソースでフリーなER図作成ツール「DBDesigner4」の日本語化を試みるサイトトップページ このサイトについて bookmark このサイトはfabForceで公開されているDBモデリングツール「DB Designer 4」の日本語化を試みるサイトです。 個人が運営するサイトなので公式なサイトではありません。 「DB Designer 4」はGPLライセンスで公開されているオープンソースソフトウェアです。 「DB Designer 4」についての詳細情報は本家サイトをご参照ください。 fabFORCE.net DBDesigner4の特徴 bookmark 直感的なGUIによるERモデル図のモデリング ERモデル図からSQL文（CREATEやDELETE）の自動生成 データベースからリバースエンジニアリングによるERモデル図の生成 データベースとERモデル図の同期化機能 軽快
naoyaのはてなダイアリー - コネクションプーリングの話
かなりながーいエントリになる予定なので,結論だけ最初に書くとこんな感じ. この話題については自分も あとで書く と言って書いてなかったので書いてみますよ。2006年の下期にもなってコネクションプーリングかよというツッコミもありそうですが、あとで書くといったら書くの。あとで読むといったら読む。 普通「コネクションプーリング」と言ったら、主に二つの役割があると思います。話を簡単にするためにウェブアプリケーションに限定して言及します。 ウェブアプリケーションから DB への接続を開けっ放しにして、接続に必要とされるオーバーヘッドをカットして双方の負荷を下げる。 ウェブアプリケーションと DB への接続を「使いまわす」ことで、同時接続本数を節約する。 というもの。 mod_perl で DB と接続維持するとコネクション数増えて云々という話は主に前者のみについての話になります。Apache::DB
ユメのチカラ: LiveJournalのアーキテクチャ
先日、mixiのお話を書いた(500万倍のスケーラビリティ)が、幸いにも多くの方からブックマークをいただく。ブックマークのコメントを眺めているとmixiのアーキテクチャはkazuhookuさんとmiyagawaさんからLiveJournalと同様なアーキテクチャだとの指摘をいただく。早速Googleで検索してみた。 LiveJournal's Backend -- A history of scalling, August 2005, Brad Fitzpatrick, 4ページ目の図を見るとmod_perlやらmemcachedやらmixiのお話のとき出てきたおなじみのコンポーネントが見える。ふむふむ。ユーザが増えてくるとDBをマスター・スレーブ構成にしてマスターに書き込みそれをreplicate（複製）する。読み込みはスレーブから行なうので、スレーブを増やせば読み込みはスケールするが、
MySQLのバックアップツール: phpMyBackupPro:phpspot開発日誌
MOONGIFT - phpMyBackupPro - オープンソースによるIT戦略支援 - 今回紹介するオープンソース・ソフトウェアはphpMyBackupPro、PHPによるMySQLバックアップシステムだ。 phpMyBackupPro というPHPで書かれたMySQLのバックアップツールのレビュー記事の紹介。 MySQLのバックアップ手法にはmysqldumpを使った方法や、mysqlhotcopyを使った方法がありますが、 このツールのようにWEBベースで専用の管理画面があっていつでも手軽にバックアップできるっていうのも魅力ですね。 phpMyAdminなんかでもエクスポート画面でバックアップは可能ですが、phpMyBackupはバックアップに特化されているツールなのでバックアップの履歴を残すことができたりするようです。
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
6月のはぶにっき