データベースアプリケーション開発を炎上させる負のスパイラル
毎度おなじみ、はてブのホットエントリに「SIをダメにする負のスパイラル」というタイトルのまとめが掲載された。きしだ氏とはかなり視点は違うものの、開発現場の問題点については少し思うところがあるので意見を書いてみようと思う。と言っても、以下の話の内容はデータベースアプリケーションに限定した話であり、またSIerだけに限った話ではないのでその点はご容赦頂きたい。もちろんSIer各位の案件はデータベースは必須なので、本エントリで触れる問題点には該当するだろう。 Q.なぜ炎上するのか？ A.正しいデータベース設計ができていないから結論から言おう。データベースアプリケーションの開発が炎上するのは正しいデータベース設計ができていないからだ。ここでいう「正しい」とは、論理的に証明できる正しさという意味ではない。「本来こうするべき」といった意味で捉えて欲しい。 「炎上」というのは、例えばテストが通らない、バ
JdbcRunner - 汎用データベース負荷テストツール
https://dbstudy.info/jdbcrunner/ に移転しました。 トップページに戻る Overview JdbcRunnerは各種データベースを対象とした負荷テストツールです。 スクリプトでトランザクションを定義して多重実行し、スループットとレスポンスタイムを測定することができます。 また、JdbcRunnerにはOracle、MySQL、PostgreSQLを対象とした以下のテストキットが付属しており、 ユーザが独自にスクリプトを作成する以外に、これらを用いた負荷テストを行うことも可能となっています。 Tiny SysBench - SysBench OLTPベンチマークの移植版 Tiny TPC-B - TPC-Bの簡易実装 Tiny TPC-C - TPC-Cの簡易実装 Download JdbcRunnerは、Vectorソフトライブラリからダウンロードできます。
データベースのスケーラビリティをどうやって向上させるか
これまでPublickeyではデータベースのスケーラビリティに関するさまざまなトピックを取り上げてきました。クラウド時代にはスケーラブルなデータベースのニーズがこれまでになく高まっているためです。 この記事では、これまで取り上げてきたデータベースのスケーラビリティに関する技術を少しまとめて紹介しようと思います。 従来のリレーショナルを拡張 従来のリレーショナルデータベースに対して、技術的工夫を凝らすことでスケーラブルなデータベースを実現しようというアプローチにも、さまざまなものがあります。 データベース研究者の大御所、マイケル・ストーンブレイカー氏は、リレーショナルデータベースは決して遅くないと主張。リレーショナルデータベースが遅い原因はロック、ラッチ、リソース管理にあるとして、それらを極力排除した「VoltDB」を開発しています。 NoSQLを上回る性能のVoltDB、そのアーキテクチャ
Webを使って商用DBの情報をどんどん集めよう！ （1/2）－ ＠IT
今夏は記録的な猛暑でした。しかしそろそろ日が短くなり、秋に近づいています。秋の夜長に技術情報サイトを読んで過ごすのはいかがですか？ オラクルの情報源、次々とオープン 今月はオラクル関係のサイトが次々と誕生しました。オラクルの製品や技術に関する情報を集めたWebサイトといえば、何といっても「Oracle Technology Network（OTN）」が有名です。初心者から上級者まで、幅広い層の開発者に役立つ情報をカバーしており、技術者の図書館のようなサイトです。一方、新しいサイトはどれも親しみやすそうな雰囲気です。 1つ目は「oracledatabase.jp」という、オラクルのイベントレポートや、エバンジェリストによるコラムを集めたサイトです。9月はクラウドコンピューティングに関する話題を集めたとのこと。もはや「オラクルといえばデータベース」だけではありません。 2つ目は「oraclet
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
Errors in Database Systems, Eventual Consistency, and the CAP Theorem | blog@CACM | Communications of the ACM
Recently, there has been considerable renewed interest in the CAP theorem [1] for database management system (DBMS) applications that span multiple processing sites. In brief, this theorem states that there are three interesting properties that could be desired by DBMS applications: C: Consistency. The goal is to allow multisite transactions to have the familiar all-or-nothing semantics, commonly
NoSQL登場の背景、CAP定理、データモデルの分類
その例としてBeck氏自身が過去に取り組んできた生命保険会社のアプリケーションを例に挙げます。そのアプリケーションでは毎日のようにスキーマが変化するため、SQLとORM(Object-Relational Mapping）では対応できず、オブジェクトデータベースのGemstoneを利用することで対応できたと述べています。 こうしたSQLだけでは満たせないさまざまな要件、上記の図にあるようにスキーマの可塑性、スケーラブルなデータ読み込み、書き込み、処理の柔軟性などを満たすために、リレーショナルデータベース以外のNoSQLな製品が開発された。これがNoSQLの登場の背景にあるとBeck氏は解説します。一方で、こうしたさまざまなNoSQLを、NoSQLという言葉で表すのは適当ではないという憂慮も示しています。 Here is where the futility of defining NoSQ
MySQL InnoDBだけで全文検索 - SH2の日記
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
mysql / mysqldump と XSLT - いちいの日記
mysql / mysqldump には --xml というオプションがありますが、みんな使ってますか? dump もしくは sql を実行して、結果を直接ブラウザやエクセルに貼付けるようなとき、たとえばデータにタブや改行が入ってたりして、クエリの最後に \G つけてもつけなくてもなんかキモイなー、となっちゃいますよね。 そんなとき便利なのが xml 出力 + XSLT です。てきとうな mysqldump.xsl 書いて、出力された xml の先頭に1行を追加するだけ。 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="mysqldump.xsl"?> ←これを追加 <mysqldump xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> ... ただし XS
Xeon 5500の性能は本物か？ NS SOLが実証検証結果を公表
4月6日に国内でお披露目されたインテルのXeon 5500番台。最大125％の性能向上や、負荷状況に応じて動的に消費電力を制御する自律的な省電力機能、最大2倍の仮想化性能など、「Pentium Pro以来のもっとも重要な製品」とインテルはアピールしている。 ただし、これらの数値はインテルが公表したもの。実際に業務アプリケーションを使った場合も同等の性能が得られるとは限らない。今回、新日鉄ソリューションズ株式会社（以下、NS SOL）が、Xeon 5500番台の実証検証を行った結果を公表。Xeon 5500番台が持つ本来の性能が紹介された。 今回、NS SOLが行った実証検証は、パフォーマンス検証、仮想化検証、消費電力検証の3分野。パフォーマンス検証では、データベース層の処理におけるプロセッサの基本性能とミドルウェア層でのシステム全体での性能を検証。仮想化検証では、仮想化支援機能の効果を仮想
[ThinkIT] 第1回：データベース移行 (1/2)
近年、システム構築の際にPostgreSQLが活用される例が増えてきました。そうした中で、古くなったシステムを置き換える際にPostgreSQLを活用したり、あるいは実験的にPostgreSQLで作ったシステムを商用データベースを用いたものに変更したりと、PostgreSQLと他のデータベース管理ソフトを相互に移行する機会に出会うことがあります。 それでは、データベースを相互に移行するには、初めに何をしたらよいでしょうか？これは、PostgreSQLとOracleの間に限ったことではありませんが、「移行の対象となるもの」を特定することが大切です。 データベースを移行する際には、主に次の3つの要素を移行する必要があります。 たとえば、ビジネスの変化と共に業務ロジックが変わり、システムを新規に作成する必要が出てきたとしましょう。その場合は古くなったシステムからデータだけ移行して、業務ロジックを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Database smells
Drizzle.JP - PukiWiki
http://blogs.sun.com/kenji/entry/javafx_%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%81%AB%E7%B0%A1%E5%8D%98%E3%81%AB%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%A7%E3%81%8D%E3%82%8B%E3%81%A8%E3%81%84%E3%81%86%E7%9C%9F%E5%AE%9F