PostgreSQL 互換 Amazon Auroraの高速フェイルオーバーを試してみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日正式リリースとなったPostgreSQL 互換 Amazon Auroraですが、Auroraの特徴の一つである高速なフェイルオーバーを試してみました。 高速フェイルオーバー ドキュメントにPostgreSQL互換Auroraの高速フェイルオーバーについて記述があります。PostgreSQL JDBC Driverを使用します。urlを複数記述して、targetServerTypeでmasterを指定するとWriterを高速にフェイルオーバーできます。 注意点として、targetServerTypeの指定ではコネクションのオープン時に判断されます。MySQL互換Auroraで使用されるMariaDB Connector/Jの場合はステートメントで判断しています。同じAurora用のフェイルオーバーでも挙動が異なるので注意して下さい。
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
Apache JMeterでPostgreSQLの負荷試験をする
このエントリは、PostgreSQL Advent Calendar 2013のDay3の記事です。 「データベースの負荷試験」を考える時、皆さんはどのような方法で実施することを検討するでしょうか。自前のテストスクリプトでしょうか。あるいは、データベース単体の負荷試験は行わず、Webシステム全体の負荷試験として実施するでしょうか。 PostgreSQLには、pgbenchというベンチマークツールが付属しており、このツールのシナリオを作成することで多少は独自のシナリオでの試験を行うことも可能ですが、状況によってはそれだけでは自由度が不足することがあります。 今回は、Webシステムの負荷テストでよく使われるJMeterを使って、自由なシナリオでPostgreSQL単体の負荷試験を行う方法を紹介します。 （なお、JMeterは非常に多機能な負荷生成ツールですので、今回はJMeterの網羅的な説明
PostgreSQLエンタープライズ利用の指針が続々公開へ
PostgreSQLエンタープライズ利用の指針が続々公開へ：Database Watch（2013年5月版）（1/2 ページ） OSSながら、堅牢性やスケーラビリティの面からエンタープライズ用途でも採用されることの多いPostgreSQL。大規模運用のための指針や移行のノウハウを公開する動きが活発化しています。今回はPGECの活動成果をウォッチ！ 4月22日、PostgreSQLエンタープライズ・コンソーシアム（以下、PGEC）は設立1周年を迎えるとともに、2012年度の活動成果を発表しました。活動成果は性能WGと設計運用WGから報告され、報告書は同会サイトにて公開（リンク）されています。いずれも企業へのPostgreSQL導入で直面する疑問をテーマとしており、とても実践的な内容となっています。 性能WG：スケールアップとスケールアウト検証結果 性能WGからは大規模運用を想定し、Postg
PostgreSQL 9.2の同期レプリケーションを利用する際の勘所
DBMSの可用性とPostgreSQLのレプリケーション 勤怠管理やERPなど会社内の業務に欠かせないシステムはもちろんのこと、SNSやECサイトなど個人で利用するシステムでも、何かしらのDBMSを利用をするのが一般的です。 もしDBMSで障害が発生した場合、データの参照・更新が滞り、システム全体として役割を果たすことができなくなります。そのためユーザが利用したいときにシステムを利用可能にするためにはDBMSが継続的に稼働していることがとても重要です。 世の中にはDBMSは多数存在し、またDBMSの可用性を上げる機能やツールなどもさまざまに存在します。OSSの代表的なDBMSの一つであるPostgreSQLには可用性向上機能の一つであるレプリケーションが用意されています。 今回は最新バージョンであるPostgreSQL 9.2のレプリケーションについて、機能の紹介、利用時の注意点、設定によ
systemtapで動的追跡をしよう — Let's Postgres
NTT オープンソースソフトウェアセンタ 笠原 辰仁 はじめに PostgreSQLのバージョン8.2から、Soralis, FreeBSD, Mac OSXなどで使用可能なDtraceという情報取得ツールに対応しました。Dtraceを使うと、PostgreSQLのトレーシング (ある処理がどのような関数等を通過してきたかの解析) やプロファイリング (ある期間にどんな処理がどれだけ実施されたかの解析) が可能になります。PostgreSQLのマニュアルでも動的追跡という項で紹介されています。これを利用することで、ボトルネックの発見などが可能になります。 Linuxでは、Dtraceの類似の機構としてSystemtapというツールが備わっています。本来は、カーネル内部のトレーシングやプロファイリングを主な目的としたツールですが、ユーザアプリケーションの情報取得も可能です。本記事では、Sys
PG-Stromにプロファイラをつけてみた - KaiGaiの俺メモ
1月6日(金)に書いた『しゅとろ〜む、しゅとろ〜む』の記事は割と反響が大きかったようだ。 コメント欄に次のような質問を頂いたので、試してみることにする。 通りすがりさん wrote: すばらしい成果ですね． カラム指向的にデータを持っていること自体が性能向上に寄与しているということはないですか？ (通常 + CPU) vs (カラム指向+GPU)で比較をされていますが， (通常 + CPU) vs (カラム指向+CPU) vs (カラム指向+GPU) の評価にも興味があります． plan.c 内の is_device_executable_qual() 関数が常に false を返すようにすれば、条件句の処理をCPUだけで行うようになる。これは (カラム指向+CPU) と同等である。 1,000万件のレコードを持つ、通常のテーブル t1 と、PG-Strom管理下のテーブル t2 に対して
PG-Strom - KaiGaiの俺メモ
I've checked up an idea whether it is feasible to implement, or not, since I saw a presentation by Tim Child in Ottawa last year. Is it possible to accelerate sequential-scan of PostgreSQL? We often see sequential-scan instead of index-scan in case of queries with complex calculation. I thought GPU works fine in these cases. I tried to implement a module that works as FDW (foreign data wrapper) of
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
PostgreSQL 9.2 released
The PostgreSQL Global Development Group announces PostgreSQL 9.2, the latest release of the leader in open source databases. Since the beta release was announced in May, developers and vendors have praised it as a leap forward in performance, scalability and flexibility. Users are expected to switch to this version in record numbers. "PostgreSQL 9.2 will ship with native JSON support, covering ind
PostgreSQL Conference 2012で講演します - ockeghem's blog
PostgreSQL Conference 2012で講演する機会を頂きましたので報告します。 日時：2012年2月24日（金曜日） 14時30分〜17時20分（徳丸の出番は16:30〜17:00） 場所：AP 品川 （東京都港区） 費用：3,500円（申し込みはこちら） 講演タイトル：安全なSQLの呼び出し方 今回は、IPAの安全なSQLの呼び出し方を題材として、SQLインジェクションの発生原理から、安全なSQLの利用方法を基礎から実際までを説明します。 あまりトリッキーな攻撃の方法はしないつもりで、基礎的な話が中心となります。安全なSQLの呼び出し方の作成経緯については、「今夜こそわかる安全なSQLの呼び出し方 〜 高木浩光氏に聞いてみた」を参照下さい。 さて、「安全なSQLの呼び出し方」は以下の五名による執筆となっています。 執筆者 徳丸 浩 永安 佑希允 相馬 基邦 勝
独り言v6 » PostgreSQL 7.3から9.1までベンチを取ってみた。
PostgreSQL Advent Calendar参加作品です。 ネタはいろいろ考えたんだけど、例えばnode.js+plv8jsでjavascriptだけで遊ぶとか、なんかちょっとしたライブラリ書くとか、アイデアはあれど風邪を引いて実行力がないので手抜きにしました。単にpgbench取りました。 ただし手元にあったwubi+ubuntu8.10(新しいバージョンは何故かうちのマシンで動かなかったので何故か古い）でコンパイルできるバージョンを片っ端からインストールするというネタをかましました。本当はWAL導入前の6.5までいきたかったけど、7.2でpg_hba.cがエラーで入らず、直そうかと思ったが手間をかけたくないし断念。 実験概要 以下のバージョン（全てマイナーバージョンは最終版）を同一マシンにインストールし、挙動を比較する。 7.3 7.4 8.0 8.1 8.2 8.3 8.4
PostgreSQLは標準でバックスラッシュをエスケープしない仕様になった
PostgreSQL9.1の仕様変更にて、デフォルト時の設定として、standard_conforming_stringsがonとみなされるようになりました。この仕様変更により、デフォルト設定でのPostgreSQLは、バックスラッシュをエスケープする必要がなくなり、ISO規格のSQLと同様のエスケープルール（シングルクォートを重ねるのみ）となります。 PostgreSQLの文字列リテラルは、元々MySQL同様に、バックスラッシュをエスケープする仕様でした。その後、リリース8.1にて、設定パラメータ standard_conforming_strings が追加され、この値が on の場合、バックスラッシュをエスケープしない（ISO規格と同様の）仕様となりました。従来のリリースでは、standard_conforming_stringsを指定しない場合offとみなされていました。これは、後
PostgreSQL 9.1正式版が公開。同期レプリケーション、高速なログなしテーブルなどの新機能
オープンソースのリレーショナルデータベース「PostgreSQL」の最新版「PostgreSQL 9.1」が公開されました。 Oracleデータベース互換のEnterprise DBがPostgreSQLをベースに開発されているなど、PostgreSQLはエンタープライズ用途を主に意識して開発されているリレーショナルデータベースといえます。 同期レプリケーション、高速テーブルアクセスなどの新機能 PostgreSQL 9.1の新機能として紹介されているのが、クラスタ用の同期レプリケーションです。 レプリケーションを同期モードにすると、マスターサーバに対する更新が失われずにクラスタ内のスレーブサーバに伝わることが保証されます。これにより複数のサーバにまたがってデータの一貫性を保つ高可用性を実現できます。 また、信頼性よりも性能が重要な場合、ログを取らないテーブルを定義することができるようにな
PostgreSQL導入に向けての取り組み ～大規模システムへの適用を目指して～ | Let's POSTGRES
NTTコムウェア株式会社 基盤技術本部 山内 孝彦 吉田 敏和 はじめに 2009 年 11 月に JPUG 10 周年記念として開催された「PostgreSQL Conference 2009 Japan」において、「大規模システムへの PostgreSQL の適用」に向けた NTTコムウェア株式会社（以下 NTTコムウェア）の取り組みについて発表させて頂きました。 今回は当日説明させて頂いた内容に加えて、そこに至った背景なども合わせてご紹介いたします。 1. NTTコムウェアの紹介 NTTコムウェアは 1985 年に日本電信電話株式会社内に発足した中央ソフトウェアセンタが起点となり、 1997 年に NTTコミュニケーションウェア株式会社として設立され、 2000 年に NTTコムウェア株式会社に社名を変更し、現在に至ります。 設立当初は NTTグループ内の情報通信システムのソフト開発
MySQL や PostgreSQL でトリガーベースの実体化ビューを後から追加する方法 (もしくは無停止での CREATE INDEX) - kazuhoのメモ置き場
読み込み＞書き込みなデータベースだと、実体化ビュー (materialized view) を使って読み込み速度を上げるってのは有効な手法 ちなみに MySQL や PostgreSQL だと実体化ビューはトリガーを使って書く *1 では、トリガーベースの実体化ビューを後から追加した場合に、どうやって既存データを新しいビューに反映させるのか。 UPDATE トリガを、ビューの側に対応するデータがない場合は INSERT トリガと同様の動作をするように実装すればいい (典型的には REPLACE INTO 文を使う)。ビューの初期データ充填は UPDATE src_table SET id=id; MySQL だと CREATE INDEX CONCURRENTLY がないから副インデックス作成はスレーブでやったりする*2けど、上の UPDATE を LIMIT つきで回すことで、ビューをイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
MySQLとPostgreSQLと日本語全文検索2
http://kwatch.houkagoteatime.net/blog/2014/12/20/postgresql-features/
PG-Strom (プロトタイプ) デモ