mixi Engineers’ Blog » 圧縮データベースを使おう
チャリンコ通勤による滝のような汗で、朝からTシャツがシースルーになってしまうmikioです。さて今回は、Tokyo Cabinet（TC）のデータベースを各種のアルゴリズムで圧縮して利用する方法についてご紹介します。 圧縮B+木 B+木とは、比較関数の値による順序が近いレコード群を単一のページにまとめ、各ページにB木（multiway balanced treeの略であり、二分木（binary tree）とは違います）の索引を張ったものです。理論的にはレコードの探索も更新も O(log n) の時間計算量で行え、内部ノード（B木）の操作をキャッシュすると実質的には O(1) の時間計算量で探索や更新が行えるという、かなり安定した性能を備えるデータ構造です。その上、レコードが一定の順序に基づいて並べられているので、数値の範囲検索や文字列の前方一致検索が高速に行えたり、カーソルによって順序に基
MySQLシステム変数
MySQLには、様々なシステム変数が存在します。 これらは、my.cnfなどの設定ファイルやMySQLの起動時オプションで 制御することが可能です。 システム変数は、以下のSQL文で参照できます。 SHOW VARIABLES; SHOW VARIABLES like 'charset%'; また、以下のSQL文で更新できます。 SET GLOBAL sort_buffer_size = 10 * 1024 * 1024; SET SESSION sort_buffer_size = 10 * 1024 * 1024; システム変数には、サーバ共通の値と セッション(接続)共通の値とがあります。 前者を変更すると、その後開かれる全てのセッションに影響があります。 後者を変更すると、現在のセッションでのみ影響があります。 以下、MySQL5.0.16に対応したシステム変数一覧です。 自動イン
FFTT : RailsのMigration
なんですかこれは データベース構造をバージョン管理する仕組み SQLではなくRubyのコードでデータベース構造を記述することによって抽象化 本番環境への変更の適用漏れがなくなる ほかの開発環境や検証環境への変更の適用がバッチリ 必要があれば以前のバージョンに戻せる 複数のデータベースエンジンへの対応が簡単にできる MySQL, PostgreSQL, SQLite, SQL Server, Sybase, Oracle (メジャーなものはDB2以外ぜんぶだって) どうつかいますか $ svn up $ rake migrate セットで使う。 これで手元の開発環境のソースコードとデータベースの構造が最新のものになる。 仕組み schema_infoというテーブルとMigration定義ファイルの名前でバージョン管理 Migration関連の操作 rake db:schema:dump (r
ベンチャー企業の経営危機データベース（METI/経済産業省）
多くのベンチャー企業が起業後に、同じような失敗、トラブル、ヒヤリとした経験をしており、成長に伸び悩む企業が多いと言われています。そこで、ベンチャー企業の経営者が様々な場面で決断を下す際の「転ばぬ先の杖」として、将来起こりうるリスクを予見できるような失敗、トラブル、ヒヤリとした経験の事例を収集・データベース化しました。ベンチャー企業の成長に向けた経営判断の材料としてご利用いただければ幸甚に存じます。 本データベースには、平成19年度にベンチャー企業にインタビュー調査を実施して収集した83の失敗、トラブル、ヒヤリとした経験に関する事例を掲載しています。事例は、ベンチャー企業の成長ステージや失敗、トラブル、ヒヤリとした経験の原因及び結果といった分類項目をもとに検索が可能となっています。
MOONGIFT: MySQLのビジュアルデザイナー「MySQL Workbench」:オープンソースを毎日紹介
Railsでは、データベースの設定をMigrationファイルに書いていって、即反映させながら開発を重ねていく。そのため、幾人かで開発を行っていると、徐々にデータベース構造が複雑化し、最適化されていない構造になってしまう。これはRailsに限らず、システム開発では常に生じるものだろう。 メイン画面 初期の頃からすべてを想定して作り上げていくことは難しいが、あるタイミングで正規化していく必要が生じるだろう。その時に役立つのがこのソフトウェアだ。 今回紹介するオープンソース・ソフトウェアはMySQL Workbench、MySQLのデータベースデザイナーだ。 MySQL Workbenchはあるデータベースに関してテーブル、ビュー、ルーチン、SQLスクリプト等をビジュアル的に設計できる。ダイアグラムも作成でき、既に作成されているテーブルやビュー等をドラッグアンドドロップで配置し、そこに線を引い
フリーで使えるDBのモデリングツールまとめ
森川です。 巷ではエイプリルフールネタがおさかんですが、普通にデータベースのモデリングツールの紹介です（エイプリルフールネタが思いつかない…）。 普段MySQLならDBDesigner4、PostgreSQLならClayを使用しているのですが、他に何かよいツールはないものかと調べてみました。 Clay 言わずと知れた？モデリングツールです。Eclipseのプラグインで、無償でも使用可能です。MySQL、PostgreSQLで使用可能です。 無償版ではER-図や、DB定義書を出力できません。対応するDBが少なかったりもします。 個人的には、PostgreSQLを使用する場合によく使います。外部キー制約などにも対応しているのでそれほど困りません。 リバースエンジニアリングに対応しているのも気に入っている理由の一つです。 ちなみに、リバースエンジニアリングをするにあたってPostgreSQLのJ
米アマゾン、Webデータベース「SimpleDB」を開発 ― ＠IT
2007/12/14 米アマゾンは12月13日、Webサービスとして動作するWebアプリケーション向けのデータベース「Amazon SimpleDB」を限定公開した。アマゾンのWebプラットフォーム「Amazon Elastic Compute Cloud」（EC2）、ストレージサービスの「Amazon Simple Storage Service」（S3）など、Webサービスと密接に連携できる。 アマゾンの発表によるとSimpleDBはWebサービス向けに、リアルタイムのクエリを可能にする。「複数のデータセットを作成し、ストアし、簡単にクエリをかけて結果を得るためのシンプルなWebサービスのインターフェイスを提供する」という。 SimpleDBは“ドメイン”と呼ぶ単位でデータベースを管理。ドメイン内のデータに対してGET、PULL、DELETEのほか、シンプルなコマンドでクエリを実行可能
特集:基礎から理解するデータベースのしくみ - 特集:基礎から理解するデータベースのしくみ：ITpro
「データベースはブラックボックス。どんなSQL文を投げたらどんな結果が返ってくるかさえ知っていればよい」---そう思っている人も多いかもしれません。 しかし，本物のソフトウエア・エンジニアを目指すのであれば，データベースが動く仕組みを学ぶことは避けて通れません。パフォーマンスなどに問題が生じたときどこから手を付けていいのか皆目見当がつかない，といった事態に陥りかねません。 市販のRDBMSの内部はかなり複雑ですが，基本的な部分を理解するのはそれほど難しくありません。この特集でデータベースの動く仕組みを理解してください。 イントロ ●ブラックボックスのままでいいの？ 基礎から理解するデータベースのしくみ（1） Ｐａｒｔ１ ●SQL文はどのように実行されるのか 基礎から理解するデータベースのしくみ（2） 基礎から理解するデータベースのしくみ（3） 基礎から理解するデータベースのしくみ（4） 基
国立国会図書館デジタルアーカイブポータル(ndldap)
リサーチ・ナビ 調査のポイントや参考になる資料・Webサイトなど、調べものに役立つ情報を、テーマや資料の種類に沿って紹介します。
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
MySQLの状態がリアルタイムでわかるMySQL用topコマンド「mytop」と「innotop」
サーバのチューニングをする上でかなりやっかいなのがデータベース系。特にログファイルの量が膨大になると後から中身を見て問題を分析するのも一苦労という場合が。そんなときにこのMySQL用topコマンド「mytop」を使えば一体何が起きているのかがすぐにわかるので問題点の把握が容易になります。ベンチマークするときに併用すればかなり効率が良くなるのではないかと。 インストールと使い方は以下の通り。 まずは「mytop」から。以下が公式サイト。 mytop - a top clone for MySQL http://jeremy.zawodny.com/mysql/mytop/ マニュアルは以下にあります。 mytop - display MySQL server performance info like `top' インストールするにはSSHなどを使ってrootでログイン後、wgetでファイル
彼女にINSERT権限がありません。:アルファルファモザイク
編集元：データベース板より「彼女にINSERT権限がありません」 117 NAME IS NULL :03/12/25(木) 20:25 ID:??? lヽ ﾉ l ｌ l ｌ ヽ ヽ )'ｰーノ( | | | ､ / l｜ ｌ ハヽ |ｰ‐''"ｌ / S | | |／| ﾊ / / ,/ /|ﾉ /l / ｌ l ｌ| ｌ S ヽ l ･ i´ | ヽ､| |ｒ|| | //--‐'" ｀'メ､_ｌﾉ| / ・ / | Q l トー-トヽ| |ノ ''"´｀ ｒｰ-/// | Q ｜ | ･ |／ | l ||､ ''""" j ""''/ | |ヽｌ ・ ｜ | L | | l | ヽ, ― ／ | | ｌ L | | !! | / | |
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
窓の杜 - 【NEWS】SQL文をGUIで作成できるフリーのデータベース開発環境「黒猫 SQL Studio」
GUIによるSQL文の作成など、さまざまな開発支援機能を備えるSQL開発環境「黒猫 SQL Studio」v1.1.7.413が6月4日に公開された。Windows 2000/XPに対応しており、個人使用・業務にかかわらずフリーソフトとして利用可能。現在作者のホームページからダウンロードできる。 「黒猫 SQL Studio」は、SQL文の作成やテストを行える汎用のデータベース開発環境。本ソフト上からOLE DB接続またはODBCドライバに対応する各種データベースへ直接接続可能で、作成したSQL文を実際にテスト実行できる。画面は3ペイン構成で、左側には複数のSQLソースファイルを管理できるファイラー、中央には複数ファイルをタブで切り替えて表示できるエディター、右側には接続したデータベースの構造をツリーとリストで表示する“データベースエクスプローラ”が表示される。 SQL文の作成時は、さまざ
「MySQL，PostgreSQLとFirebirdの性能をユーザー会メンバーが徹底比較，判明...
「更新とJOINが多ければMySQL，シンプルなSELECT主体ならPostgreSQLが向いている。ストアド・プロシージャでシングル・コネクションならFirebirdは非常に速い」---6月23日に開催された「オープンソースカンファレンス2007.DB（OSC2007.DB）」で，各オープンソースDBのコミュニティのメンバーによる性能比較が披露され，従来の一般的なイメージとは異なる“意外な結果”が明らかにされた。 オープンソースカンファレンスは，オープンソース関連コミュニティが主催するイベントで，OSC2007.DBはデータベース関連のコミュニティが集まったイベントである。性能比較セッションを担当したのは，日本MySQLユーザ会の堤井泰志氏，日本PostgreSQLユーザ会の片岡裕生氏，Firebird日本ユーザー会の木村明治氏。「あくまでボランティアによる性能比較であって，最速，最新マ
【ハウツー】"ブラウザ Gears"でここまでできる! Google GearsのDB機能を使ってみよう (1) Gearsの持つ組み込みデータベース | エンタープライズ | マイコミジャーナル
Google Gearsをおさらい 5月31日のGoogle Developer Dayで発表された新技術「Google Gears(以下、Gears)」。皆さんは既にお試しになっただろうか。ブラウザのプラグインというかたちでまったく新しいJavaScriptのAPIを提供するという発想に、今や世界中のギーク達が魅了されており、その可能性を追求すべく各地で熱心な研究が続けられている。 Gearsについて軽く触れておくと、Gearsの実体はIE(Microsoft Internet Explorer)、Firefoxで動作するブラウザのプラグインだ(将来的にはMac OS XのSafariもサポートされる)。以下のようなJavaScript APIを提供し、オフラインでも動作するWebアプリケーションの構築をサポートする。 ローカルサーバ - Webページに関する様々なリソース(HTML、J
Open Tech Press | MySQLデータのバックアップ方法
2007年5月31日10:53 Tom-Adelstein、Bill-Lubanovic（2007年5月29日（火）） ファイルやディレクトリのバックアップは比較的簡単だが、データベースのバックアップとなると、いくつか特別な工夫を施す必要がある。ここではMySQLを取り上げているが、同じ原理はPostgreSQLやその他のリレーショナルデータベースにもあてはまる。 本稿は、最近O’Reillyから出版された書籍『 Linux System Administration 』の抜粋。 MySQLサーバを休みなく稼働させ続ける必要がないなら、以下に示すような圧縮なしのオフラインバックアップ手法が手っとり早い。 MySQLサーバを停止させる。 # /etc/init.d/mysqld stop MySQLのデータファイルおよびディレクトリをコピーする。例えば、MySQLのデータディレクトリ/var
MOONGIFT: » WikiがDBとして進化した「wikidBASE」:オープンソースを毎日紹介
Wikiとはただ文字列を書き連ねるだけの存在ではない。その積み重ねはいわゆるDBとなって、活用されるものだ。とは言え、柔軟性が高過ぎて自由に書かれただけではDBとしての活用は難しい。 ある程度の項目を区切って入力できればベストだろう。かといってWikiの柔軟性は失わない事が前提だ。 今回紹介するオープンソース・ソフトウェアはwikidBASE、Python製のWikiエンジンだ。 wikidBASEはいわゆるWikiエンジンとして開発されている。普通のWikiとしての利用は無論可能だ。だが、それはwikidBASEの目指すべき使い方ではない。このWikiエンジンには秘めたる実力がある。 それが簡易DBとしての利用だ。データ項目の定義はユーザ自身ができる。入力フォームは自動的に生成され、テキストボックスのみならず、ドロップダウンやチェックボックス等も生成される。日付を定義することで、カレンダ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
連載記事 「今から始める MySQL入門」
SQLで木と階層構造のデータを扱う――入れ子集合モデル