あまり知られていないPostgreSQLの機能 | POSTD
あなたが知らない既存機能があるかもしれません！ マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
PostgreSQLの“仕様”による、運用者にとって悩み深い脆弱性とは
PostgreSQLの“仕様”による、運用者にとって悩み深い脆弱性とは：OSS脆弱性ウォッチ（6） 連載「OSS脆弱性ウォッチ」では、さまざまなオープンソースソフトウェアの脆弱性に関する情報を取り上げ、解説していく。今回は、2018年3月1日に公開されたPostgreSQLの脆弱性情報（CVE-2018-1058）を取り上げる。 「OSSセキュリティ技術の会」の面和毅です。本連載「OSS脆弱性ウォッチ」では、さまざまなオープンソースソフトウェア（OSS）の脆弱（ぜいじゃく）性に関する情報を取り上げ、解説しています。 今回は、2018年3月1日に公開されたPostgreSQLの脆弱性情報（CVE-2018-1058）を取り上げます。 脆弱性概要 脆弱性の概要は、「A Guide to CVE-2018-1058: Protect Your Search Path」（英語）に詳しく載っています
PostgreSQLでauto_explainを使ってどのクエリが遅いか把握する - $shibayu36->blog;
ある機能が重いなどといった理由で、DBのどのクエリが遅いか把握したいことはよくあります。そんな時、PostgreSQLのauto_explainが便利だったので紹介。 auto_explainを使うと、指定した実行時間以上を利用しているクエリに対して、自動で実行計画をログファイルに出力してくれるというもの。詳細はこちら。 https://www.postgresql.jp/document/9.6/html/auto-explain.html https://www.postgresql.jp/document/9.6/html/using-explain.html 最近便利に使えたのは以下の設定。 # 自動でEXPLAIN ANALYZEしてパフォーマンス解析したい時用 session_preload_libraries = 'auto_explain' auto_explain.log
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ - エンジニアHub｜Webエンジニアのキャリアを考える！
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
データベースの移設をやって感じた大事なこと - ボクココ
ども、@kimihom です。 今回は運用ネタ。API で使っていたデータベース (Compose MongoDB) の無料プランがなくなるという告知が終了の2週間前にメールで届くっていう事態になった。てことで慌てて他のデータベースを探し、移設することになった。もちろん、その指示通りにお金払ってアップグレードするっていう方法もあったけど、それで毎月結構な金額を支払うよりは他のに移した方がコスパが良かったと判断した。 その API でのデータベースは MongoDB を使っていた。当時の自分は MongoDB がブームで、実際に使ってみるとなかなか手に馴染んで良い技術だったので積極的に使っていた。その MongoDB の IaaS 的なサービスは、Compose MongoDB と mLab MongoDB ってのがあった。どちらも無料プランがあったけど、より無料プランの制限が甘い Comp
なぜUber EngineeringはPostgresからMySQLに切り替えたのか | POSTD
はじめに Uberの初期のアーキテクチャは、Pythonで書かれたモノリシックなバックエンドアプリで構成されており、データの永続性のために Postgres を使っていました。当時から比べて今のUberのアーキテクチャはかなり変わっており、 マイクロサービス のモデルや新しいデータプラットフォームになりました。特に、以前Postgresを使っていたケースの多くで、今は Schemaless 、つまりMySQLの上で構築された新しいデータベースのシャーディングレイヤを使います。今回の投稿では、私たちが見つけたPostgresの欠点を探り、MySQLの上でSchemalessと他のバックエンドサービスを構築するに至った経緯について説明していきます。 Postgresのアーキテクチャ 私たちはPostgresで以下のような多くの制約に直面しました。 書き込みでの非能率的なアーキテクチャ 非能率的
JSONBの機能強化
今回は、PostgreSQL 9.5（以下、9.5）で機能強化されたJSONBについて、実際に動かしながら紹介します。 JSONBデータ型は、PostgreSQL 9.4（以下、9.4）で導入されたJSONデータ（JavaScript Object Notation：テキストベースのフォーマット）をバイナリ形式で格納するためのデータ型です。9.5では、このJSONBデータ型の機能が強化され、新規に関連する複数の関数や演算子等が実装されました。 以下のように定義されたempテーブルを用いて、これら新規に実装された主な関数や演算子の振る舞いを確認してみましょう。 jsonb_set関数 9.4ではUPDATE文を用いて行全体を更新できましたが、特定のメンバ（キーと値の組み合わせ）のみを更新することはできず、変更不要なメンバも含めすべて書き出してUPDATE文で更新するか、複雑なユーザ定義関数を
今風にPostgreSQLの開発環境をつくってみた - tehepero note(・ω<)
2015-03-24 今風にPostgreSQLの開発環境をつくってみた 最近ホットすぎるPostgreSQL界隈ですが、せっかくなので今風に開発環境を作ってみました。 PostgreSQLおさらい 近年のPostgreSQLの進歩は目覚しいものがあって、高いスケーラビリティはもちろん、アプリとの親和性の高さもあって注目度を増しています。 9.4系からはJSONBサポートに加えGINインデックスの性能強化等があって、RDBの特性を持ちながらドキュメントDBのような使い勝手を実現しています。MongoDBもびっくりですね。 ちなみにAmazon RDSにもつい最近9.4.1がサポートされましたね。 Amazon RDS for PostgreSQL support for major version 9.4.1 というわけでこんな今風なPostgreSQLを今風に環境構築してみようと思います
「PostgreSQL 9.5」の新機能
PostgreSQLとは PostgreSQLはオープンソースソフトウェア（OSS）のデータベース管理システム（DBMS）です。高機能・高性能なエンジンを持ち有用な関数を多く実装するほか、様々な開発言語にも対応するため、技術者にとって扱いやすいDBMSでもあります。機能面でも性能面でも商用DBMSに見劣りしない「OSS DBMSの代表格の1つ」という位置付けです。 またPostgreSQLを利用する上で留意すべきOSSのライセンスは、BSDライセンス（Berkeley Software Distribution License）をベースとした独自の「PostgreSQLライセンス」という形態をとっています。このライセンスは商用・非商用を問わず無償で利用でき、著作権表記とライセンス全文を含めれば改変および再配布は自由となっています。さらにソースコードの公開義務もなく、商用製品への組み込みも容
MySQL for JSON: Generated Columns and Indexing - Compose Articles
Unlock innovation with highly secure, fully-managed Database-as-a-Service capabilities on IBM Cloud® IBM Cloud® Database-as-a-Service (DBaaS) services free developers and IT from complex and time-consuming tasks including deployment of infrastructure and database software, infrastructure operations, database software updates, and backup. IBM Cloud® Database SMEs deliver and maintain ready-to-use,
CentOS 6.4にインストールしたPostgreSQL9.2.4を起動させてみる - /dev/null
はい、昨日にインストールしたPostgreSQLを起動させてみよう。 これ書き始めた時点で起動出来てません、不安ですね。 何はともあれ,initdbをやってみる。ちなみに/usr/local/pgsql/binにパスが通ってる前提です。 [~]$ initdb initdb: no data directory specified You must identify the directory where the data for this database system will reside. Do this with either the invocation option -D or the environment variable PGDATA. うーん。 データディレクトリを指定してねっと事かしら。 -Dオプションで指定かPGDATAっていう環境変数をexportしておく必要が
MySQL使いが知るべきPostgreSQLとの違いと変わらない一つのこと
— そーだい＠初代ALF (@soudai1025) 2015, 8月 24 とブーメラン投げて見事に刺さってるので今から記事書く。 両サイドにはかなり厳しい話もするが俺の本音を聴いておけ（関白宣言） まぁ歴史の長いRDBなのでお互いの比較記事は沢山ある。 なのでマルチスレッド(MySQL)とマルチプロセス(PostgreSQL)だとかVACUUMだって話はしない。 むしろ実際に使ってみた際の違いをにフォーカスする。 1. SQLの違い 基本的にMySQLでやっていたことはPostgreSQL出来る。 しかし関数の挙動の違いは幾つかある。 例えば時間から曜日に該当する数字に変換した場合に MySQL → date_format(time,"%w") 0から始まり、日曜日に該当する PostgreSQL → to_char(time,'D') 1から始まり、日曜日に該当する など挙動に互換性
PostgreSQLを透過的に暗号化するソフト、NECがオープンソース版を公開
NECは2015年6月5日、PostgreSQLに格納するデータを透過的に暗号化するソフト「Transparent Data Encryption for PostgreSQL」（TDE for PG）を開発し、オープンソース版「Free Edition」をGitHubで公開した。機能上位の商用版「Enterprise Edition」は7月28日に出荷する。商用版の価格は1CPUの最小構成で75万円（追加CPU当たり15万円）。商用版の販売目標は、2年間で100セット。 PostgreSQLは、オープンソースのRDBMS（リレーショナルベース管理システム）である。今回NECは、PostgreSQLにデータ暗号化の機能を組み込むライブラリーモジュールを開発した。暗号化のための専用のデータ型を用意している（テキスト型のENCRYPT_TEXTとバイナリー型のENCRYPT_BYTEA）。テー
PostgreSQLのアンチパターン : 何でもかんでもjsonに入れる | Yakst
PostgreSQL 9.2より追加されたJSON型だが、特徴を理解して適切に使わないと色々な副作用に悩まされることになる。その問題点を挙げると共に、どのような場合に使うべきかの指針を示す。 PostgreSQLは、データ型としてjsonをサポートしています。しかし、やりたいことがある時に何でもかんでもjson型を使ってしまうというのはやめるべきです。これは、hstoreや新しく登場したjsonb型にも同じことが言えます。これらの型は必要な時には便利なツールになりますが、PostgreSQLでデータのモデリングを行う際に最初に検討すべきものではありません。 なぜなら、データを呼び出したり操作したりするのが難しくなってしまうためです。 何もかも同じところに入れてしまおうとすることによるアンチパターンをご存知の読者もいるでしょう。EAVアンチパターンは、長らくデータベーススキーマにおける必要悪
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Leaving MySQL
こわくないPostgreSQLのアップグレード
[python] pandasのDataFrameからpostgresにテーブルを作成 - Qiita![[python] pandasのDataFrameからpostgresにテーブルを作成 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d7551cd18a8f4d4a61b63d09cb360d23b094f59e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCcHl0aG9uJTVEJTIwcGFuZGFzJUUzJTgxJUFFRGF0YUZyYW1lJUUzJTgxJThCJUUzJTgyJTg5cG9zdGdyZXMlRTMlODElQUIlRTMlODMlODYlRTMlODMlQkMlRTMlODMlOTYlRTMlODMlQUIlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTA2NDQzMmI3ZjUwNzNlMzFhOGE4NzJhOWFmMGZhYmY1%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa28tZGEtayZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MWQ4MTIzMjc1M2Q5Zjg4MTdhNjA0NDJmOTkzMmRiNmE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D80ef212620989f67bd2202b09c7e22b2)
明日から使えるPostgre sql運用管理テクニック(監視編)
