型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
入門 B-link tree
概要 DBMS で広く利用されている B+ tree には様々な variant が存在するが、B-link tree もその1つ。 シンプルなラッチプロトコルで並行アクセスをさばけるよう、リーフノード以外のノードにも右の隣接ノードへのポインタを持たせた構造となっており、PostgreSQL で使われていることでも有名。 この記事では主にこの B-link tree に焦点を当てる。 B+ tree 全般やその他インデックス技術自体に興味がある場合は「最強DB講義 #10 いまどきのデータベース索引技術（石川佳治 教授）」の講義資料を読むのがおすすめ。 B-link tree 理解する上で必須な知識「ラッチ」 「ラッチ」というのはいわゆるロックのことだが、DB においては「ロック」というとトランザクション分離のための高価な(数千CPUサイクルを要する)処理を指すことが多く、「ラッチ」という
DB定義書をSchemaSpyとFlywayでやってみた - ROBOT PAYMENT TECH-BLOG
自己紹介 何をしたかったか？ 前提 やったこと SchemaSpyとは Flywayについて 構成 SchemaSpy実行手順 完了！だがしかし！ 結論 まとめ 何が良かったの？ 最後に 自己紹介 こんにちは。決済システムチームの yoponpon です。 普段は決済サービスの機能の開発をやっています。 .net、docker、powershell、sql serverなどを使っています。 何をしたかったか？ サービスの保守、運用、開発で使うためのDB定義書が作りたい。 DBのデータ定義を可視化及び、変更の管理をしたい。エンジニア以外の人が見る需要が有るため、エンジニア以外の人向けに見やすいGUIで出力したい。データのリレーションも見れるのが理想。 できれば手動での更新管理（≠Excelなどでの更新管理）などは避けたい。 DBのデータ定義の変更はgitなどで変更管理をしたい。できるのが理想
HiveとPrestoの違いについて調べてみた - Qiita
近年、分散型SQLクエリエンジンとして注目を集めている「Hive」と「Presto」 それらの性質の違いに目を向けて、白黒つけてやろうじゃないかという記事です そもそもHiveって？ 簡単に言ってしまえば、MapReduce処理を可能にする分散型SQLクエリエンジンです MapReduce処理とは大量のデータを高速に処理するための分散処理フレームワークで、HiveQLというSQLライクな言語を用いてHadoop上で実行できるという優れものでした とまあその辺りで、Hiveに関する詳細は諸事情により割愛させていただきます（書き出したらキリがないので…） そんなんじゃ理解できねえよ！という方は、「Hadoop Hive MapReduce」などのキーワードで検索して頂けるとご納得いくかと思います Hiveはそもそもバッチ処理を目的としており、クエリを実行してからのレスポンスの遅さがネックとなっ
WordPressのデータベースの構造について理解しておこう - 株式会社bridge
WordPressのデータベース構造について改めてメモ。ちなみにここで書いていることは、マルチサイトではないWordPress。いわゆる通常の状態のWordPressのデータベース構造について書いています。 マルチサイトに関してはあまり詳しくないので、もし今後その知識を深めることがあったら書いておきたいと思います。 どんなデータがあるのか一覧で wp_posts wp_postmeta wp_terms wp_term_relationships wp_term_taxonomy wp_users wp_usermeta wp_comments wp_commentmeta wp_options wp_links とまあ、これがデフォルトの状態でのデータベースの内容です。 それぞれどんなデータが保存されるのか wp_posts 投稿・固定ページ・メディア・カスタムメニュー・カスタム投稿・リ
PostgreSQLの接続数について - Qiita
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname = 'DB名' AND pid <> pg_backend_pid(); Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
4ステップで作成する、DB論理設計の手順とチェックポイントまとめ - Qiita
はじめに 「達人に学ぶDB設計」、「SQLアンチパターン」を読んだのでDB設計をする流れとその過程でのチェックポイントをまとめてみました。 今回は本に載っているものの中でも特に重要そうな部分に絞ってみました。 さらに詳しいことを知りたい方は本を購入してみてください。個人的には達人に学ぶDB設計徹底指南書のほうがおすすめです。こちらだけあれば十分だと思います。 DB設計には大きく分けて論理設計と物理設計の二つがありますが、今回はアプリケーション開発でメインとなる論理設計の部分に焦点をあてて説明をします。 一番最後にチェックポイントだけをまとめた章を用意したので、チェックポイントだけ知りたい方は最後だけ見ていただければと思います。 DB論理設計の流れ DB論理設計は以下のようなステップで進めていきます。 エンティティの抽出 エンティティの定義 正規化 ER図の作成 以下では各ステップごとに章を
1日に100万レコード増える場合のテーブル設計
MySQL（マイエスキューエル）は、TCX DataKonsultAB社などが開発するRDBMS（リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。 PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLパフォーマンスチューニングTIPS
【旧版・説明欄参照ください】 サーバーレスアプリケーション向きの DB 設計ベストプラクティス