PostgreSQLでパーティション数が多いほどプラン生成時間が長くなる問題の確認 - Qiita
PostgreSQLのパーティショニング機能には、パーティション数が多いほど親パーティションに対するクエリのプラン生成時間が長くなる問題がある。これは、PostgreSQL10のネイティブ・パーティショニング機能でも従来のパーティショニング機能でも同様である。 今回は以下5パターンにおけるクエリのプラン生成時間を比較して、パーティション数が多いほどプラン生成時間が長くなることを確認する。 パーティション分割しない 10パーティションに分割 100パーティションに分割 500パーティションに分割 1000パーティションに分割 PostgreSQL10のネイティブ・パーティショニングの場合 -- 指定の数だけ分割されたパーティションを作成する関数を登録する CREATE OR REPLACE FUNCTION create_partition_native ( parent TEXT, num
CitusDB + PG-StromでScale-up+outする。 - KaiGaiの俺メモ
PostgreSQL Advent Calendar 2019の14日目です。 PG-Stromの開発をやってると、しばしば聞かれるのが 『マルチノードの並列処理って対応してるんですか？』 という質問。 まぁ、『対応しておりませんし、対応する予定もございません』という回答になるんですが、別にこれはウチのやる気の問題ではなく、PG-StromはPostgreSQLの拡張モジュールとして設計されているため、並列分散処理に関しては他のメカニズムに任せてしまえばよい、というだけの話である。 そこで、今回は同じくPostgreSQLの拡張モジュールとして実装されているスケールアウト機能の Citus と、PG-Stromを組み合わせてちゃんと動作するんですよという事を検証してみる事にする。 Citusとは? PostgreSQLにデータ分散と並列処理機構を付加する拡張モジュールで、PostgreSQ
オープンセミナー香川2019 PostgreSQL
Citus を使って 分散列指向データベースを作ってみよう Noriyoshi Shinoda November 12, 2021 PostgreSQL Conference Japan 2021 (B2) SPEAKER 篠田典良（しのだのりよし） 所属 日本ヒューレット・パッカード合同会社 現在の業務 PostgreSQL をはじめ、Oracle Database, Microsoft SQL Server, Vertica 等 RDBMS 全般に関するシステムの 設計、移行、チューニング、コンサルティング PostgreSQL パッチ提供 オープンソース製品に関する調査、検証 資格など Oracle ACE Oracle Database 関連書籍15冊の執筆 関連する URL 「PostgreSQL 篠田の虎の巻」シリーズ http://h30507.www3
PostgreSQLには「中途半端なサイズ」のデータを格納しないほうがいい
ウェブサイトやアプリケーションには、ユーザー名やメールアドレスといった小さなサイズのものからブログ本文といった大きなサイズのものまで多種多様なサイズのテキストが使われています。一般的にはテキストサイズによってデータベースを使い分けることはありませんが、データベースのPostgreSQLでは「中途半端なサイズ」のテキストデータを格納するとパフォーマンスの低下につながるという調査結果とその仕組みを、ソフトウェアエンジニアのHaki Benita氏が説明しています。 The Surprising Impact of Medium-Size Texts on PostgreSQL Performance | Haki Benita https://hakibenita.com/sql-medium-text-performance PostgreSQLの場合、データベースのインデックスとテーブルは
PostgreSQL 9.6.3をRHEL 7.3(AWSのEC2)のSystemdで起動管理する | setup | OSS Fan
概要 Red Hat Enterprise LinuxではLinuxを構成する各種サービス（プロセス）の起動管理にinitシステムを利用していました。 バージョン7からinitがSystemdに置き換わり、RHEL 7向けのRPMパッケージをインストールすると、Systemdでの起動管理に 必要なファイル（サービスユニットファイル）がインストールされます（インストールされないミドルウェアもありますが）。 PostgreSQLでもコミュニティサイト（https://yum.postgresql.org/rpmchart.php）からダウンロードしたRPMパッケージを使用してインストールを実行すると、 Systemdには /usr/lib/systemd/system/postgresql-9.6.service というファイルによって、postgresql-9.6.serviceという名の
psqlコマンドのお勧め設定 - 青木ブログ
実はpsqlコマンドは色付きプロンプトを始めとして意外と便利な設定ができるようになっています。わたしが使っているおすすめの ~/.psqlrc を書いておきます。 \set PROMPT1 '%[%033[1;32m%]%n %`date +%H:%M` %R%#%[%033[0m%] ' \set PROMPT2 '%[%033[1;32m%]%R%#%[%033[0m%] ' \timing on \set HISTSIZE 1000000 以下解説 PROMPT1, PROMPT2 お約束の色付きプロンプト。 上記設定は緑のボールドにしていて、色を抜かすとこう↓なります。 '%n %`date +%H:%M` %R%# ' 表示すると「aamine 18:05 =>」みたいな感じです。以下解説。 %[...%] : エスケープが有効 %033 : ESC文字 %n : ユーザー名 %
PostgreSQL SQL Tricks
SQL is a language where one task can be solved multiple ways with different efficiency. You can see effective use of PostgreSQL's possibilities on this page. Log all SQL statements generated by application Author: Pavel Stěhule You can enforce additional libpq connection string options with system variable PGOPTIONS. Next example ensure log all statements of pg_dump: PGOPTIONS="-c log_min_duration
秒速で10億レコードを処理する話 - KaiGaiの俺メモ
これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 （機材をお貸し頂いたパートナー様には感謝感激雨あられである） 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ
PostgreSQLでのバックスラッシュ文字の扱い - Qiita
PostgreSQLの文字列リテラルでは、バックスラッシュ文字の意味が standard_conforming_stringsという設定によって変わるようです。 standard_conforming_stringsが"off"のときは、バックスラッシュは特殊文字として 機能します。「\n」はAscii文字のLFで、「\t」はTABとして解釈されます。 一方、standard_conforming_stringsが"on"のときは標準SQL仕様準拠モードとなり、 バックスラッシュはただの「バックスラッシュという文字そのもの」として解釈されます。 「\n」は「\」と「n」の２文字となります。 このあたりことは以下のページの方が詳しいですのでそちらをどうぞ。 PostgreSQLは標準でバックスラッシュをエスケープしない仕様になった | 徳丸浩の日記 元々、標準のSQL仕様的には、バックスラッ
PipelineDB—The Streaming SQL Database
Bermain slot gacor di Toto88 bisa menjadi pengalaman yang menggembirakan dan menguntungkan. Dengan berbagai pilihan permainan, fitur yang menarik, dan peluang menang besar, Toto88 telah menjadi destinasi utama bagi para pemain slot online. Artikel ini akan membantu Anda memahami bagaimana memaksimalkan pengalaman Anda saat bermain slot gacor di Toto88. Toto88 menawarkan pengalaman bermain slot onl
pg_repack (オンラインテーブル再編成ツール)
pg_repack は PostgreSQL のテーブルをオンラインで再編成できるツールです。本記事では pg_repackについて紹介します。 良く知られている通り、PostgreSQL は追記型アーキテクチャを採用しています。UPDATE や DELETE をしても旧データを格納した行はしばらく物理ファイル上に残り、これを VACUUM コマンドや自動 VACUUM で整理して、その領域を再利用可能にする仕組みとなっています。何らかの理由でこれらの手動・自動の VACUUM 処理が実行されなかった場合には、データ格納に使われない不要領域が増加し、性能劣化の原因となります。そのような場合には、CLUSTER コマンドや VACUUM FULL コマンドを使って、テーブルの再編成をするのですが、これらのコマンドは強いロックを取得するため、サービス中の適用が難しいという課題がありました。 p
PostgreSQL初期設定これだけは変えておこう
PostgreSQL Advent Calendar 2012（全部俺）のDay 1です。 初日は、まずPostgreSQLを使い始める際の基本的なお作法である初期設定について簡単にまとめてみます。 PostgreSQLは、パラメータの設定を変更せずにデフォルトの設定のまま使い始めても、もちろん動くことは動くのですが、後からいろいろと問題が出てくることもありますし、特に性能関連のパラメータのデフォルト値はあまりに小さく、チューニング云々以前の問題だったりします。 というわけで、私が普段PostgreSQLをインストールして使い始める時、開発機であってもいくつかパラメータを初期設定するようにしています。 使い始める前に設定から入るのは確かに面倒なのですが、最初に設定が必要なパラメータは少数（今回紹介するのは5つ）ですので、まずは最初に必要最低限の設定をしてから使い始めましょう、というのが本エ
PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;
最近PostgreSQLでSQLチューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。PostgreSQLのバージョンは9.6系です。 SQLチューニングなどに便利だったクエリ達 それ以降に実行するSQLの実行時間を表示する。参考 https://morumoru00.wordpress.com/2011/05/08/postgresql-sql%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8B%EF%BC%88timing/ \timing 実際にクエリを実行して実行計画や実行時間を表示する。クエリが実行されるので破壊的な操作も実行されてしまうことに注意。トランザクション張って最後にROLLBACKしましょう。参考 https://www.post
pg_repack 1.5.0 -- Reorganize tables in PostgreSQL databases with minimal locks
pg_repack 1.5.0 -- Reorganize tables in PostgreSQL databases with minimal locks Versions: 1.1 1.2 1.3 1.4 1.5 master Languages: en jp pg_repack is a PostgreSQL extension which lets you remove bloat from tables and indexes, and optionally restore the physical order of clustered indexes. Unlike CLUSTER and VACUUM FULL it works online, without holding an exclusive lock on the processed tables during
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Citus 10.2 rebalance_table_shards not working · Issue #5407 · citusdata/citus
Citus Open Source - Postgres at any Scale
postgres corruption: ERROR: invalid page in block
GitHub - intaro/hstore-extension: The encoder/decoder and set of the doctrine functions for the postgresql type `hstore`
11.8. 部分インデックス
Javascript encodeURI like function in postgresql?