Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ
PostgreSQL 15正式リリース。ソートの改善で最大で400％高速に、SQL標準のMERGEコマンドサポートなど
オープンソースのリレーショナルデータベース「PostgreSQL 15」正式版がリリースされました（日本語版のプレスリリース）。 News: PostgreSQL 15 Released! https://t.co/af3E117bts — PostgreSQL (@PostgreSQL) October 13, 2022 ソートが最大で400％速度向上 PostgreSQL15ではインメモリとディスク上のソートアルゴリズムが改善され、どのデータ型をソートするかによって性能差はあるとされますが、ベンチマークでは25%から400%の速度向上が示されました。 count()、rank()、row_number()、dense_rank()などのウィンドウ関数でも速度が向上しています。 ライトアヘッドログ（WAL）ファイルでLZ4とZstandard (zstd) の圧縮をサポートを追加したこと
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
パフォーマンスではAuroraに軍配!? SRA OSS石井達夫氏がPostgreSQL版Auroraを徹底検証 | gihyo.jp
パフォーマンスではAuroraに軍配!? SRA OSS石井達夫氏がPostgreSQL版Auroraを徹底検証 2016年11月、米ラスベガスで開催されたAmazon Web Services（AWS）の年次カンファレンス「AWS re:Invent 2016」の初日、Amazonのアンディ・ジャシーCEOから発表されたいくつものアップデートの中でもとりわけ開発者を熱狂させた発表が、"Amazon Aurora PostgreSQL with Compatibility" ―AWSが誇るクラウドネイティブなデータベースエンジン「Amazon Aurora」にPostgreSQL互換バージョンがプレビューで提供されるというニュースでした。 「AWS reInvent 2016」でプレビュー版として発表されたPostgreSQL互換のAurora。AWSはユーザの要望にもとづいて機能拡張を行
SELECT文で本番環境を落としたお話 - Qiita
（この記事は 地平線に行く とのマルチポストです） 本番環境でやらかしちゃった人 Advent Calendarで、このパターンのやらかしはなかったのでキーボードを叩くことにしました。 番外編のつもりでお楽しみください。 この記事が、新たな障害発生を防ぐことにつながれば幸いです。 何をやったのか ある日、ちょっとした調査のために本番データベースのデータを確認することになりました。 （個人情報が格納されているようなシステムではなかったので、必要であれば本番データベースへのアクセスが許されていました） もしメンテナンスがあればそのタイミングでやればよかったのですが、直近では特に予定はないとのことでした。そのため、システムが動いている状態のまま作業をすることにしました。 ごく単純な SELECT を実行するだけのつもりだったので、システムに影響がないと判断したためです。 その際、万が一コピペをミ
PostgreSQL ソースコードリーディング | Youki Shiraishi
PostgreSQL Server PostgreSQL のアーキテクチャを頭に叩き込んでおこう． 上の図は PostgreSQL サーバーの主要なコンポーネントとそれらの関係を表している． PostgreSQL は，クライアントサーバーモデルに基づく共有メモリ型のアーキテクチャを採用している． サーバープロセス postgres は，クライアントからコネクション要求を受け取るとフォークしてバックエンドプロセス postgres を生成する． 生成されたバックエンドプロセスは，以降，そのクライアントとのやりとりを担う． クライアントは，バックエンドプロセスと通信してクエリを送信したり，結果を受け取ったりする． PostgreSQL のすべてのプロセス間で共有されるメモリ領域は，共有メモリと呼ばれる． 共有メモリは，主に低速なストレージへのアクセスを減らすバッファとして機能する． ストレージ
アクセラと＋αな生活 : PostgreSQL のデータベース保守（自動 VACUUM 化）
データベースを運用するにあたり、定期的に行う保守作業というのが発生します。 保守を行わなかったためにデータベースが破壊されるというこはないでしょうが、パフォーマンスが劣化することもあります。 PostgreSQL は他のRDBMS（Relational DataBase Management System）に比べても、比較的保守は少ない方です。 保守作業で最も重要であるといえるのが、バックアップですね。 バックアップに関しては、PostgreSQL の可用性を高めてみる。（その1）からその5までで検証まで行っているので大丈夫です。 次に PostgreSQL で重要になるのが、「VACUUM操作」と言われるデータベースの掃除作業や「ANALYZE」という統計情報の取得作業です。 「VACUUM」、「ANALYZE」については聞きなれない言葉の方もいらっしゃるので、簡単に説明しておきます。
KaiGaiの俺メモ
今回は皆さんが大好きな便利ツール「pg2arrow」のお話です。 PostgreSQLでポータブルな列指向データ形式 Apache Arrow を読み出すには、Arrow_Fdwを利用する事ができます。 PG-StromではGPU-Direct SQLにも対応していますし、列指向データという事もあって、被参照列しかI/Oが発生しない、同じ列のデータが近傍に固まっているという大量データ処理に適した特性を持ってもいます。 また、Apache Arrow形式のファイルを作成するにはPyArrowやPandasなど様々なツールがありますが、我々DB屋としてはPostgreSQLに格納されたトランザクショナルなデータを、分析用にApache Arrow形式として吐き出せるととても嬉しい。そんな時に使えるツールがpg2arrowなのです。 pg2arrowは、PostgreSQLにクエリを投げ、その問
製品
PG-StromGPUとNVMEの能力をフルに引き出し、並列動作する数千コアの力でPostgreSQLを爆速化、テラバイトを超える大量データに挑むためのオープンソース拡張モジュール。 PG-Stromの概要 PG-Stromは最も広範に利用されているOSS-DBシステムの一つ、PostgreSQL向けの拡張モジュールで、数十TB、数百億件といった規模の大量データの検索、集計、加工といった処理を、GPUやNVME-SSDといった最新のハードウェアの能力を最大限に引き出して、シンプルなシングルノード構成のシステムで、高速に実行するためのソフトウェアです。 GPUの特徴 GPUには数千個のプロセッサコアが搭載され、並列計算を極めて効率よく実行するように設計されています。その一つが行列演算ですが、これは大量の均質なデータに対して同一の演算を同時に実行するという特性があります。SQLにも類似の処理は
PostgreSQLカンファレンス2015 に参加しました。
ごきげんよう。 PostgreSQLカンファレンス2015 に参加しました。 https://www.postgresql.jp/events/jpug-pgcon2015/ 参加報告を簡潔に記載します。 ■ハッシュタグ #pgcon15j #敬称は略 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 1、【 基調講演 】PostgreSQL 9.5 について PostgreSQL 開発者 Michael Paquier 1-1、講演内容 (1) 掲題の通り、PostgreSQL9.5について講演なさってました。 (2) 来月中に9.5.0が出る見込みらしいです。 (3) ここでも目玉機能は UPSERT でした。 INSERT文の拡張だと私はとらえていますが、 INSERT...ON CONFLICT文により データ格納時に衝突が起きたらどんな動きをするか指定することができます。 かなり便
runtime-config-logging.html
log_destination (string) PostgreSQLは、stderr、csvlogおよびsyslogを含めて、サーバメッセージのログ取得に対し数種類の方法を提供します。 Windowsでは、eventlogも同時に提供します。 このパラメータを設定するには、コンマ区切りでお好みのログ出力先を記載します。 デフォルトでは、ログはstderrのみに出力されます。 このパラメータはpostgresql.confファイル、または、サーバのコマンドラインでのみ設定されます。 csvlogがlog_destinationに含まれる場合、ログ項目はプログラムへの読み込みが簡便な「カンマ区切り値」書式（CSV）で出力されます。 詳細は18.8.4. CSV書式のログ出力の利用を参照してください。 CSV書式のログ出力を生成するためにはlogging_collectorを有効にする必要があ
とあるクエリを2万倍速にした話 -データベースの気持ちになる- 前編 - dwango on GitHub
技術コミュニケーション室 OSSグループの髙﨑です。 当グループでは、マストドンというオープンソースの分散型マイクロブログについて、 弊社が運営するインスタンス「friends.nico」の運営、独自機能の開発、運用、ならびにそれらで得た知見を上流のプレーンなマストドンへcontributeするという業務を主に行っています。 本記事では、tableに適切なindexを張ることによってとあるスロークエリの速度改善を行った事例について、実際に上流へ行ったPullRequestをベースにお話させていただきます。 内容としては反面教師とするべき失敗例を伴った、非常に基礎的なPostgreSQLの実行計画の読み方ならびにクエリに合わせたindexの張り方です。 また、表題の2万倍速というのは改善前の最悪の場合比であり嘘ではないものの、通常問い合わせされる範囲の条件ではだいたい3〜30倍速であるという
PostgreSQLの実行計画について調べてみた | Casley Deep Innovations株式会社 技術ブログ
はじめに 初めまして、キャスレーコンサルティング SI（システム・インテグレーション）部の松本です。 業界3年目にして、実行計画を一度も見たことがなかった私が、 「実行計画とは何か、どのように取得するのか。」について調べた結果をまとめました。 ※本ブログでは、PostgreSQL Tutorialより提供されているdvdrentalというDBをサンプルに用いております。 目次 1.実行計画とは 2.実行計画の取得方法 2.1.EXPLAIN文 2.2.オプション(ANALYZE,FORMAT) 2.3.ANALYZE文 3.実行計画の構造 3.1.ノードのツリー構造について 3.1.1.テーブルスキャンノード 3.1.2.結合系ノード 3.1.3.その他のノード 3.2.処理コストの確認方法 4.まとめ 1.実行計画とは 実行計画とは、ユーザによって発行されたクエリを実行するための手順書の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EDB Postgres HA 構築のベストプラクティス（EDB技術本部長 高鶴勝治） | エンタープライズDB (EDB) ジャパンブログ
図で技術的に何が起きたかを解説 スマホゲーム『偽りのアリス』の不具合報告がやたら丁寧と話題に「BtoBみたいな報告で草」「なんだこの説明量は」
Amazon RDS and Aurora: The Golden Arches of Postgres?
PostgreSQLクエリ実行の基礎知識 ～Explainを読み解こう～
PostgreSQLとMySQLの基本的なコマンドを比較 - Qiita
49.63. pg_locks