なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 - エンジニアHub｜Webエンジニアのキャリアを考える！
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
DB設計でこだわりたい三つの要素
http://connpass.com/event/10849/ しょぼちむにデータモデル設計について教えてくださいの会 #syoboben で話した資料です。
【第4回】 スマホ向けアプリ「ピグトーク」開発時のTips、苦労した点 - MdN Design Interactive
ウェブアプリはネイティブアプリに比べ、読み込みに時間がかかるという印象があります。たしかに、インストール時にある程度のデータを読み込んでしまうネイティブアプリに対して、その都度ダウンロードするウェブアプリではより通信環境に左右されるといった点があります。 しかし、HTML5で追加されたローカルキャッシュ系の機能を使うことでその問題をいくらか解決することができます。 追加されたローカルキャッシュ系の機能にはCookieに似たlocalStorageやsesstionStorage、指定したファイルをキャッシュできるオフラインアプリケーションキャッシュ、ローカルデータベースとして利用できるWebSQL、Indexed DBなどがあります。「ピグトーク」ではどのようにローカルキャッシュを使用したか、説明していきたいと思います。
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
MongoDBのメモリの使い方とプレヒーティング - Qiita
MongoDBのMongoDBのメモリの使い方とプレヒーティングについて簡単に解説します。 前提はMongoDB ～2.6 on Linuxです。2.8の新しいストレージエンジン(wired tiger)ではこの話は関係ありません。 MongoDBのメモリ管理 まずMongoDBがどうやってメモリを管理しているかですが、 結論から言うとメモリは管理していません。 OSにすべてを任せています。具体的にはLinuxOSのmmap()というシステムコールを利用しています mmapとは？ mmapはファイルシステム上のファイルをメモリにマッピングして、プロセスからはメモリ上に乗せられたファイルの中身に高速にアクセスできる仕組みです。 プロセス起動直後にmmapでファイルをマップしても、最初は何もメモリには乗りません。 プロセスがファイルを読み取ろうとしたときに初めてメモリに乗せます。 その後はメモ
AWSでmongoを動かしてみる(AutoScale対応) - Qiita
Advent Calendar2014ということで、mongoの枠が余ってたので書いてみることにした。他の人達がシャーディングがどうこう言っている中で、１人だけ超初心者投稿だけど頑張る。 今回作ったサンプルのレポジトリ https://github.com/KeitaMoromizato/mongosample 前置き 取り急ぎAWSでmongoを動かしてみたいときは普通にインスタンスにmongoをインストールすればいい。ただしそれだとAutoScaleした時に困る。インスタンスがそれぞれ別のDBを見ていたらデータがおかしな事になってしまうから。 RDBMSなら、AWSにはRDSという便利なサービスがあってDBサーバだけ切り出すことができる。AutoScaleしたインスタンスはそれぞれ同じRDSを見に行けばいい。mongoにはそれが無い。 そんなときはインスタンスをもう一つ立ち上げるのです
php×mongodbで配列のn番目の要素(index)について集計したいときメモ(find*cursorでゴリゴリ、groupby、aggregate*unwind) - tweeeetyのぶろぐ的めも
はじめに mongodbでのデータ集計で 配列のn番目の要素に関して集計したかったときのメモ 特にjsというよりはphpで この記事のサンプルのメインはjavascriptです。 実際はMongoDB PHP ドライバからMongoへアクセスする必要があったので javascriptで試す ↓ phpに置き換えてバッチとか作成 って流れでやったのでその所感もつづっておきます。 とはいえ文書だと説明しずらいのでまずは事例から 集計したい事例 集計したいデータ データは以前の記事で1億件つっこんでみたデータと同じものにしました ただしドキュメント数は100分の1(100万件)ほど。 どんなデータか ゲームやらなんやらでポイントGETするたびに１ドキュメントinsert insertされるのはポイントの総計と内訳 内訳は、[GETしたポイント + ボーナスポイント]の配列 ボーナスポイントはGE
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
Rails4 + Fluentd + MySQL でランキング機能作ってみた - 筋肉とエンジニアリングで すべてを解決するブログ
アクセスランキングを作ってみよう！ 今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とは まず読み方は、 「ふるーえんとでぃー」であって、「ふるーえんど」とかじゃないっぽいです。d はたぶんデーモンの d 。 色々説明面倒なんで省略しますが、ログ収集元とか出力先が簡単に設定できて、自分の欲しい形でログ保持できますよーって感じっぽい。なので、 「シェルスクリプトで処理した tail の処理結果をファイルに」「nginx から出力されたアクセスログを mongoDB に」とかそういう処理を自前で書く必要なく、簡単な設定だけでいけちゃう。 詳しくは → 柔軟なログ収集を可能にする「fluentd
MongoDBのスロークエリの最適化をするまでの流れ - ひよくあブログ
前回New Relicを入れてデータを見ているとちょいちょい response timeが遅くなってることがわかりました。 やはりというかなんと言うか、 アプリのデータの永続化に使っているMongoDBで遅いクエリが発行されているようなので、これを調査して対応をするまで流れをメモしました。 ここではクエリと呼んでますが、mongo的には正確にはオペレーションと呼ぶのが正しいのかな？ スロークエリを調べる コンソールからmongoシェルに入って以下を実行すればスロークエリのロギングが始まります。 db.setProfilingLevel(1,20) これを実行すると20ms以上掛かってるクエリがsystem.profileというcollectionに保存されて、普通のcollectionと同じくfindで確認することができます。 system.profile.find(); setProfi
開発環境のデータをできるだけ本番に近づける - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 今回はクックパッドの開発環境構成、特に開発用データベースの構成についてご紹介します。 開発環境の構成 クックパッドのシステム環境は以下のようなフェイズに分かれています。 ※ これはcookpad.comの構成で、サブシステムや個別のサービスはその規模や特性に応じて構成が異なります。 development 開発者が実際に開発を行う環境です。クックパッドでは仮想環境は用いず、手元のマシンでRailsアプリケーションを動かして開発を行っています。 データベースはローカルではなく、開発者全体で共通の開発用データベースに接続しています。 test 手元でテストを実行する場合は、ローカルマシンのデータベースを利用します。CI（rrrspec）などの場合も同様で、テスト実行サーバーのデータベースが利用されます。 staging stagingといえば準本番環境として、本
「メンテナンス大変なのでサービス閉じたいです」 - tototoshi の日記
Web サービスの会社にはイケイケなサービスの陰に隠れて、かつてイケイケだったけど今はイケテナイサービス、とか、ぶっちゃけ最初っからあんまりやる気なかった☆サービス、これどこで拾ってきちゃったのサービス、などなど、惰性で続いちゃってるようなサービスがごろごろあったりします。 そういうイケテナイサービス群はメンテナンスの手間を取らせる物なので、エンジニアとしては閉じてしまいたい。でも非エンジニアとしては閉じたくない。いや、本当は閉じたい！でもちょっとは儲かってるし、閉じるとわずかながら存在するユーザーからクレームくるし、連携先の企業とやりとりするのめんどいし、まあいろいろめんどうそう。 そこで、「イケテナイサービスにはできる限りメンテナンスの手間を払うな」という話がエンジニアのとこにきて「お前なーっ！そのメンテナンスの手間がなーっ！」となり、話がループを始めます。なぜこういう噛み合わない話に
MongoDB Index基本 - L4L
MongoDBのIndexメモ Indexの作成 1 db.things.ensureIndex({a: 1}); フィールドaに対してIndexを作成する。すでに作成済みであれば何もしない。 試してみる テスト用のCollectionを作成。 1 2 3 > for (var i=0; i<10000; i++) { ... db.things.save({a: i, b: i*i, c: i*i*i}) ... } 初期状態でのIndexの作成状況を確認。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 > db.things.stats() { "ns" : "test.thi
@nippondanji 氏の「データベース設計徹底指南！！」は神プレゼン！脅威の主義主張の一貫性保証は DB エンジニアの鏡だった件！ - #garagekidztweetz
ツイート今日は、第 1 回のSQL アンチパターンの回から良コンテンツを提供しまくりなエンバカデロ・テクノロジーズさん主催の第 3 回 DB エンジニアのための勉強会に参加してきました。 今回は 漢(オトコ)のコンピュータ道で有名な漢の中の漢、 @nippondanji 氏がデータベース設計を徹底指南してくれるということで、元々 DB エンジニアがバックグランドのわたしとしてはいかないわけにはいかんだろう、と喜び勇んでいってきました！ 内容はというと下記の概要をカバーする内容でした。 リレーショナルデータベース（以下RDB）は登場してからかなりの時間が経っています。その名が示すように、RDBはリレーショナルモデルをベースに考案されたソフトウェアです。しかしながら、未だに現場ではRDBが使いこなされているとは言いがたく、リレーショナルモデルへの理解も進まず、誤った常識が跋扈しているのが現状で
データベースアプリケーション開発を炎上させる負のスパイラル
毎度おなじみ、はてブのホットエントリに「SIをダメにする負のスパイラル」というタイトルのまとめが掲載された。きしだ氏とはかなり視点は違うものの、開発現場の問題点については少し思うところがあるので意見を書いてみようと思う。と言っても、以下の話の内容はデータベースアプリケーションに限定した話であり、またSIerだけに限った話ではないのでその点はご容赦頂きたい。もちろんSIer各位の案件はデータベースは必須なので、本エントリで触れる問題点には該当するだろう。 Q.なぜ炎上するのか？ A.正しいデータベース設計ができていないから結論から言おう。データベースアプリケーションの開発が炎上するのは正しいデータベース設計ができていないからだ。ここでいう「正しい」とは、論理的に証明できる正しさという意味ではない。「本来こうするべき」といった意味で捉えて欲しい。 「炎上」というのは、例えばテストが通らない、バ
俺の考えるプログラマー35歳定年説 - komagataのブログ
おはようございます。高熱を出したまま35歳、アスキーコードで言えば#歳になりましたkomagataです。 間違えてて去年書くはずだったプログラマー35歳定年説について。（その来年がきたよ～、見てる〜？ ＞ 俺） パッピーバースデートゥーミーフロム俺 - komagata 「フィジカル、メンタルで衰えてくる」とか「マネジメントへの参加要求が強まり自然にプログラミングから遠ざかる」とか「求められる成果の総量が上昇するのでしかたなく」という面も確かにあると思います。 しかし、 「平均的なキャリアプランなんぞ知ったことか。こっちは大手町辺りに派遣されてスーツで一生デスマ案件でJavaを書き続ける覚悟は完了してるんだよ！」 という我々にとっては関係ありません。にも関わらず我々が長文を書いてしまうのはなぜでしょう？ それは「誰も見てなくても関係ない」「真理鉱山に篭って一生続けられる」はずのプログラミン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
てもぐ
Mobage を支える Ruby の技術 ~ 複数DB編 ~
イミュータブルデータモデル(入門編)
Mongo 2.6新機能分析：新しいWriteコマンドによるネットワーク性能の改善に期待（FourSquare社ブログより）