1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
PGCon 2015 で計算機システムの性能評価について講演してきました - は
カナダのオタワ大学で開催されたPGCon 2015で、"The Art of Performance Evaluation" という題目で、計算機システム、とくにデータベースシステムに関する性能評価の基礎となる考え方と、基本となる3つの技能（モデリング、測定、シミュレーション）に関して講演を行ってきました。 PGConはPostgreSQL関係者の集う最もハイレベルなカンファレンスの一つで、世界中からPostgreSQLの主要開発者が集い、PostgreSQLの開発方針を議論したり、最新のPostgreSQLに関する技術動向が話し合われる場となっています。 PostgreSQLの開発や使い方など比較的具体論が取り扱われることが多い中、自分の講演はやや異色な発表ではありましたが、システムソフトウェアの開発において正しい性能評価の考え方を知ることは欠くことのできない重要な技能であるので、その点
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Life with IT
