クラウドに最適化したMySQLのフォーク「Drizzle」が正式版公開
MySQLからフォークし、クラウド用途に最適化して開発された「Drizzle」が3月15日に最初の正式版を公開しました。 MySQLはよく知られたオープンソースのリレーショナルデータベースです。そのMySQLを、トランザクション機能を維持したままクラウドのような大規模分散環境での並列処理とマルチコアCPUに最適化したのが「Drizzle」です。 多くのWebサービスのバックエンドでは、高速なデータベース処理を実現するために多数のMySQLサーバを用いた分散処理をしていますが、Drizzleではそうした用途に特化して設計されています。 NoSQLに対するSQLからの回答 Drizzleは、大規模なWebサービスのバックエンドデータベースとして利用することを想定しているため、Web系サービスのバックエンドとしてはほとんど使われないだろう機能が省かれています。例えば、ACL（アクセス制御リスト）
InnoDB Pluginことはじめ。快適ストレージエンジン生活はじまる！
MySQL 5.1.38からMySQL本体にInnoDB Pluginバンドルされている。一部の先駆的なユーザー以外に、「InnoDB使ってますよ！」もしくは「検証してるよ！」という話をあまり聞かない。そもそもであるが、InnoDB Pluginってなんぞ？！という人が多いんではないかと思うのだが、実際はどうなのだろう？現在はRC版（リリース候補版）という位置づけのInnoDB Pluginであるが、一部影響度の高いバグが残っていたりしてGA版ほどの安定性は求められないものの、ほとんど実用に耐えうる品質になっているといえる。そんなわけで、今日は改めてInnoDB Pluginの使い方・使いどころについて説明するので、ぜひ皆さんの手でInnoDB Pluginを評価してみて頂きたい。 なお、以下の解説は現在の最新バージョンである、InnoDB Plugin 1.0.6を前提にしているので、将
『ドキュメント指向データベース「MongoDB」』
皆様、はじめまして。 アメーバ事業本部と言うところでサービス開発のプログラマをしている津田と申します。 先日、M.S.氏より、当エンジニアブログにて「技術に関して書くように」とお達しが下りました。 同じ技術者として、尊敬の気持ちを通り越し、畏怖の念すら抱いているM.S.氏に 「技術」に関して書けと言われるとは、もはや路頭に迷った子羊の気分です。 どうにか違う話題に出来ないかとごまかしてはみたものの、 やはり「技術」に関して書くようにと念を押されてしまいました。 路頭に迷っていても致し方ないので、今後サービスに利用する予定で検証を行っていた 「MongoDB」と言うドキュメント指向データベースに関して紹介させて頂きます。 ■MongoDBとは ここ数年注目を浴びている「NOSQL（NotOnlySQL）」のデータストアの一つ KVSとは異なり、スキーマレスではあるが、カラムに近い概念がある
KateでスマートにSQLを編集しよう！
このところ、KDEの進化が著しい。先月の終わり頃にKDE 4.6がリリースされたのだが、前回のバージョン4.5は去年の8月だったので、5ヶ月ちょっとでのバージョンアップとなる。KDEは4.5でかなり品質が向上したように思うのだが、4.6では心踊る新機能が目白押しだ。その中で、特に筆者の目を引いた新機能がひとつある。それは、KateSQL（Kate用SQLクライアントプラグイン）だ。 Kateとは？ひとことで言うとかなりイケてるエディタである。Qtを使って書かれており、KDEに標準的に含まれている。EmacsやVimのように、ゴリゴリにカスタマイズしまくって使うことを前提にした本格的なエディタとは少し毛色は異なるが、種々のプログラム言語やマークアップ言語をサポート（シンタックスハイライトやオートインデントなど）していたり、Zen-Codingに似た入力モードを搭載するなど、かなり気の利いたエ
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜Preferred Networks
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
NoSQLを上回る性能のVoltDB、そのアーキテクチャとは
データベース研究者の大御所、マイケル・ストーンブレイカー氏が開発し、NoSQLデータベースをも上回る性能を発揮するリレーショナルデータベース「VoltDB」。前回の記事では、その特徴と、NoSQLデータベースのCassandraとのベンチマーク比較を紹介しました。 今回はVoltDBのアーキテクチャについて調べたことをご紹介しようと思います。基本的にはVoltDBのWebサイトやリンク先の内容を基にしています。また、ブログ「独り言v6」のエントリ「VoltDB登場 – RDBMSのようでRDBMSではない新システム」も参考にさせていただきました。 シェアドナッシングな分散インメモリデータベース VoltDBのアーキテクチャは、FAQのページで以下のように説明されています（英語を訳したものを引用しています。以下同じです）。 VoltDBは、シェアドナッシングなサーバ群から構成されるスケーラブ
kumofs ストレージ API - tmtmsのメモ
kumofs のストレージのAPIについて調べてみました。 元々 kumofs は configure 時にストレージを選択できるようになっていて、本体部分とストレージ部分が API によりある程度分離されています。なので独自にストレージを作成することもそんなに難しくなくできると思います。 ストレージ部には21個の関数が必要です。関数は src/storage/interface.h で定義されています。 以下、各関数について説明します。関数名の「xxxxx」は通常ストレージ固有の名前を指定します。たとえば kumofs 標準のストレージである Tokyo Cabinet の Hash の場合は tchdb となっています。 嘘書いてあるかもしれないので、あまり信じない方がいいと思います。 ストレージ層に渡されるキーとデータはクライアントから指定されたものそのままではなく、kumofs 管
「NoSQL」を上回る性能を目指す次世代型高速SQLデータベース「VoltDB」登場 | OSDN Magazine
ベンチャー企業の米VoltDBは5月25日（米国時間）、オープンソースのデータベースシステム「VoltDB 1.0.1」をリリースした。高速、拡張性、ACID遵守などを特徴とする次世代DBMSとしている。 VoltDBは「Postgres」「Ingres」などのデータベースプロジェクトを共同で創始したMichael Stonebraker氏が設計したもので、Stonebraker氏が非常勤教授を務めるマサチューセッツ工科大（MIT）、ブラウン大学、イェール大学、HP Labsの共同研究「H-Store」がベースとなっている。 VoltDBは豊富なメモリやマルチコアCPUを備えたシステムに最適化されており、データを分散させてメモリ内に配置することで飛躍的に性能を改善しているという。データベースエンジンはマルチスレッドで動作し、データは分割されて各スレッドに配置される。それぞれのスレッドはロッ
目覚ましい進化を見せるストレージエンジン - PBXT改善の軌跡
PBXTというストレージエンジンがある。これは、PrimeBase社によるストレージエンジンで、トランザクションをサポートした本格的なものである。（つまり、InnoDBやFalconの代替として使うことを目指したエンジンなのである。）PBXTは次のページからダウンロード可能だ。 http://www.primebase.org/ 上記のページにも書いてあるが、PBXTの特徴は次の通り。 MVCC（Multi Version Concurrency Control）トランザクションのサポートACID準拠行レベルのロックデッドロック検知外部キーのサポートWrite Once（追記型アーキテクチャ）BLOBストリーミング 最後の2つ以外はInnoDBと同じである。Write Onceとは追記型のアーキテクチャで、InnoDBのように独立したログが存在しないという意味である。（PostgreSQL
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
例のあの人？Amazon Dynamoクローン·Project Voldemort MOONGIFT
とは言っても魔法使いではない。れっきとしたオープンソース・ソフトウェアだ。Amazonの社内用プロジェクトとしてAmazon Dynamoと呼ばれるものがある。これはデータ量が膨大になった場合における分散化データベースプロジェクトだ。 キーと値のシンプルなデータベース それを外部サービス化したものとして知られるのがSimpleDBだが、若干異なる点もあるようだ。そしてそのクローンを目指すのがこの名前を呼んではいけないあの人と同じ名前のプロジェクトだ。 今回紹介するオープンソース・ソフトウェアはProject Voldemort、Amazon Dynamoクローンだ。 Project Voldemortはサーバアプリケーションとクライアントアプリケーションの二つが提供されている。Javaベースのソフトウェアで、antでビルド後にサーバアプリケーションを立ち上げると6666番ポートでサービスが
cassandra調査レポート
個人的な興味からcassandraについてしらべてみました。 間違っている部分など、指摘や質問などあればお知らせいただけるとうれしいです。Read less
Twitter、「拡張性と可用性」を求めてMySQLからCassandraへ乗り換える | OSDN Magazine
人気のマイクロブログサービス「Twitter」を提供する米Twitterが、使用するデータベースをFacebookが開発した「Cassandra」に移行しているという。データ量の増加に自動的に対応できる拡張性や可用性などを評価した結果のようだ。 Twitterのソフトウェア開発者、Ryan Kings氏がMyNoSQLの取材に応じて明らかにした。MyNoSQLはSQLではないデータベースの総称「NoSQL」に関する情報を集めたブログ。 Kings氏によると、TwitterはシェアドMySQLとMemchacheを組み合わせたシステムを利用してきたが、データの増加ペースが急増しており、対応が急務となっていた。人件費をはじめとした運用費用がかさんでおり、共有MySQL設定を自動化するか、他のデータベースへの乗り換えを考慮したという。Cassandra以外のデータベースも検討したが、マシンの追加
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Posidev
ソーシャルゲームのためのデータベース設計
Cassandra DB articles
Redis Cheatsheet
http://www.mikeperham.com/2010/03/13/cassandra-internals-writing/