信じられないDB文化「固定長DB」でもあうんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ

ずいぶん時間があいてしまったけど、大規模コンシューマ向けサービスRDB設計の続き。 僕はこのプロジェクトを自分のRDBの知識を使って革新してやろうと思って臨んだ。 しかし結果として逆に、コンシューマ向けサービスに最適化されたRDBの使い方について教わることになった。 ※ あと、KVSでいいじゃんって言ってる人もいるけど、それはKVS導入の苦労を知らない人だと思う。KVSの苦労は後で書く。 僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はDBやフレームワークの設計とアーキテクトっぽいことを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止

[Sikushima]

Oracleの社員がここまで書くのは珍しい。 http://d.hatena.ne.jp/hiro_naka/20110809 というほどのとんでもないバッドノウハウ。バッドノウハウほど喜ぶバカが多いな。

[Nagise]

パフォーマンス上の確たる理念のある「ポリシー」はよいね。SI業界では設計上の理由ではなく、人災的理由によるポリシーが跋扈しているからね

[nimai]

それNoSQLで(ry

[tsucchi1022]

どうして Oracle にしたんだろう。MySQL 使ったほうがスレーブ並べるとか、ジョブキュー使うとか、工夫しやすいと思うけど。あと、監視目的や経営のサポートのために集計すると思うんだけど、そういうのは無いのかなー

[stealthinu]

超大規模、高負荷だと「join禁止」「固定長フィールド」でないと運用時に厳しいという話。そこまで厳しい条件のものもやっぱあるんだねえ…

[sifue]

固定長DBやJoin禁止は大規模運用では当たり前だけど。仕事では小規模のチームが超複雑なデータを集計し扱うタイプだから、こういう現場を知らない。そして知らぬまま、趣味ではNoSQLを使っている。

[lizy]

Oracleを高級物置として使う方法｜さらなるスケールアウトはクライアント(ブラウザ)に処理させる、ですね

[deep_one]

読みながらそんなんだったらKVSを…と思ったら、「今はKVS」と締められていた。／管理用作業とかは少々反応が遅くても許される。

[thesecret3]

集計しなくていいなら、同じ構成のDBでユーザー/認証テーブル以外を分散すりゃいいんじゃないか。。

[MATSU]

量と質の転回点の話。ギリギリ狙うってワクワクするよね！

[toris-birds]

昔読んだ記事を見つけたのでブックマーク。（コンシューマ向けに限らず）DBに頭を使わせないのは、今でも重要な考え方の1つだと思います。あと固定長なのはトランザクションとか記憶媒体がらみの場合もあるかと。

[gyu-tang]

知らなかった

[hiroomi]

「・DBに頭を使わせるのではなく、Webアプリケーションに頭を使わせること」

[monochromekk]

行移行を減らすためには、「NOT NULL制約」も重要だと思う。NULLの場合、ポインタ分の領域だけが確保されるから。ここはどのDBでも似たような作りなんだと思う。

[nakarx]

コンシューマ向けDBって関わったことないけどこんな感じなのね

[akkun_choi]

DBでなくアプリ側で処理。行移行ってなんだろう->更新時に発生するブロック関係のIO処理か。

[ji_ku]

Bylineから 信じられないDB文化「固定長DB」でもあうんです。大規模コンシューマ向けサービスのRDB設計 ずいぶん時間があいてしまったけど、大規模コンシューマ向けサービスRDB設計の続き。 僕はこのプロジェクトを自分のRD

[udzura]

[for:@twitter]

[yu0488]

JOINしないというのは、最近よく思う。でも、正規化が好きな人がいて頭を変えるのは大変なんだよな。使うとこと使わないとこのバランスが取れるのがよい。

[ryochanda4]

RDBの設計の話。まだ読んでない。

[f_oggy]

切り分けポイントを減らすのは保守観点では重要なので納得出来る話ではある。ただ、こういう事例もあるよということだよね。

[netoresama]

頭を柔らかく

[sasashin]

あとで読む。

[akg_hakata]

ふーん、KVSは別の話なのか

[khtno73]

業務システム屋からすると信じられない文化だ

[moronbee]

そう、設計者もコーダーも含めて全てのプロジェクトメンバーが運用までを常に念頭におけたら、自然とよりよいシステムになる気がする。/ KVSのトランザクションはその通りと思う。

[Hash]

職人と経験則の領域...

[masamkur]

もう一個のテーブル設計の話。通例通りではなく、TPOでちゃんと判断したい。使いどころによっては、収納効率が悪になるってところだな。

[haruten]

サイズが変わると法則が変わるという話は別のどこかにもあった。文章に勢いがあって、ワクワクしながら読んだ

[NOV1975]

若干結果論気味かなあ。

[peppers_white]

ここまでパフォーマンスの為に制限かけると利用者にも制限いきそうだけど～まあユーザー名の文字数制限くらいだけどね

[maangie]

「もしかしたら行移行が発生しているのでは？」

[rryu]

完全にOracle向けのバッドノウハウなので、合うというよりかはそうせざるを得ないという方が適切。

[harumomo2006]

DATE型が使えるなんて素晴らしいプロジェクトだ／ただし日時を固定長文字列で保存すれば閏年や閏秒のような使用環境や開発言語が原因のバグから解放される

[jkatsu]

ギリギリの処理をしなくてはいけない場合の設計の知恵。富豪的設計は通用しないらしい。

[y-kobayashi]

[パフォーマンス計測]

[ys0000]

なるほど。Joinも集計もしないならNoSQLの専門分野じゃなうい？って思ったら設計が2年前で業務に耐えうるかの実績なしで運用コスト増加を懸念しての不採用という訳か。