PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQL 20年史｜コミッター石井達夫が振り返る変遷と進化の歴史 世界中で使用されるRDBMSであるPostgreSQLの長い歴史には、どのような変遷があったのでしょうか。長く、PostgreSQLに関わり続ける石井達夫さんに、同ソフトウェアの進化歴史の中にあるキーワードをもとに振り返ってもらいました。 オープンソースのRDBMSであるPostgreSQLは、いまや世界中の人々が利用するソフトウェアとなりました。その歴史は長く、ルーツは30年以上も前にさかのぼります。 PostgreSQLの前身は、カリフォルニア大学バークレー校で1986年に始まったPOSTGRESプロジェクトです。その後、1994年にAndrew Yu氏とJolly Chen氏がPOSTGRESにSQL言語インタプリタを追加し、翌年にPostgres95をリリース。1996年にようやくPostgreSQLとい
PostgreSQLでauto_explainを使ってどのクエリが遅いか把握する - $shibayu36->blog;
ある機能が重いなどといった理由で、DBのどのクエリが遅いか把握したいことはよくあります。そんな時、PostgreSQLのauto_explainが便利だったので紹介。 auto_explainを使うと、指定した実行時間以上を利用しているクエリに対して、自動で実行計画をログファイルに出力してくれるというもの。詳細はこちら。 https://www.postgresql.jp/document/9.6/html/auto-explain.html https://www.postgresql.jp/document/9.6/html/using-explain.html 最近便利に使えたのは以下の設定。 # 自動でEXPLAIN ANALYZEしてパフォーマンス解析したい時用 session_preload_libraries = 'auto_explain' auto_explain.log
コサイン類似度に基づくソート処理の実装方法とその性能比較
文書の類似度を計算する方法に「コサイン類似度」を用いる方法があります。 これは、出現する単語を出現回数などで数値化して、空間ベクトルに変換した上でベクトル同士の類似度を計算する、という手法です。 コサイン類似度 http://www.cse.kyoto-su.ac.jp/~g0846020/keywords/cosinSimilarity.html 最近、このコサイン類似度を使って、似ているデータを検索するWebアプリを試しに作っていたのですが、ふと、 「このコサイン類似度を使ったソート処理をPostgreSQLでどのように実装するともっとも高速な実装になるのだろうか。また、現実的なパフォーマンスを考えた時にデータ量や次元のサイズはどこまで増やせるのだろうか」 ということが気になりました。 PostgreSQLは、その拡張性の高さがウリの一つですが、そのため「UDFを作る」ということを考え
第7回 UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第7回UberエンジニアがブログでPostgreSQLにダメ出し、PostgreSQLコミッター石井達夫氏に反論を聞く デジタルディスラプションを象徴する企業として、いまこの瞬間も破竹の勢いで成長を続け、交通サービスの世界を大胆に塗り替えているUber。未上場ながらすでに企業価値は6兆円を超えているとも言われており、世界最大のユニコーン企業として、その動向はつねに注目されつづけています。 クラウドやビッグデータ分析、オープンソースなど、最先端のITをフル活用し、ごく短期間で劇的にビジネスを拡大させたUberに対しては、やはり技術者からの強い関心があつまります。現在、1200名を超えると言われるUberのエンジニアたちは何をどんな環境で使い、どう動かしているのか ―Uberのエンジニアリングチームが公開している技術ブログ「Ub
[PostgreSQL] DISK FULL TRUNCATE できない - Qiita
ディスクFULLでTRUNCATEができない事案に遭遇したのでそのときの対処をメモで。 そもそも削除できなかった理由 PostgreSQLの場合、TRUNCATE時にも一時ディスク領域を使用するため、結局削除のために利用できるディスク領域が存在しないため、TRUNCATEができない事案に遭遇します。 対処法 1.追加ディスクをマウントする。 USBでもNFSでもなんでもOKです。 対象となるデータベースのディスクスペースの1.5倍程度の容量が必要です。 このときはサーバがデータセンターにあったので追加ディスクが 用意できなかったので、NFSサーバを緊急で立ててディレクトリをマウントしました。 2.追加ディスクにテーブルスペース保管用のディレクトリを作成する 3.対象データベースにコンソールログインする。 4.CREATE TABLESPACEで2で作ったディレクトリにディスクスペースを割り
![[PostgreSQL] DISK FULL TRUNCATE できない - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d4cb851afa80dc34a4bdded08a41874e80062b07/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUG9zdGdyZVNRTCU1RCUyMERJU0slMjBGVUxMJTIwVFJVTkNBVEUlMjAlRTMlODElQTclRTMlODElOEQlRTMlODElQUElRTMlODElODQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY5ZjUyMjAyZDk3MTVhMzFmNzRkNjgyNTc4MzgwYTg3%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwU3luMjU2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iYTkwNDliNjIxNWQ3ZjNmNGI2M2MyZmI5NmIzMTQ0Ng%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D1a4cf0c226725dfe57a56aa5c6aa50ae)
LATERALを使ってみよう | Let's POSTGRES
笠原 辰仁 本記事は2015年のPostgreSQL Advent Calendarの 12/3 の記事です。PostgreSQL9.3でサポートされたLATERALについての解説と使いどころについて紹介します。 はじめに PostgreSQLは幅広くSQL標準(ではないものも含む)の句や構文をサポートしており、それが製品の特徴の一つでもあります。PostgreSQL8.4でサポートされたWindow関数やWITH句はその引き合いに出されることが多いです。 さて、PostgreSQL9.3からはLATERALという句がサポートされています。やや地味で使われることが少ないため、ご存知の方は少ないかもしれません。しかし、LATERAL句は、使いどころによっては非常に強力な武器になります。 注意 本記事ではテーブル定義や実行計画等を記載している箇所がありますが、幅の表示上、見やすいように改行して
パラレルスキャンのスケーラビリティ調査とFlame Graphsによるプロファイリング可視化
先月、弊社にデータベース系の研究をしていた中国人留学生がインターンに来ており、その彼にお願いしてPostgreSQLのパラレルクエリのスケーラビリティの調査と、プロファイリング＋可視化のツールとしてFlameGraphを使ってもらいました。 大学のスケジュールの関係上、インターンの期間が急遽、3週間から2週間に短縮されてしまったため、結果をきちんとまとめたり追試をしたりといったところまでは到達できなかったのですが、個人的にもそれなりに面白いアウトプットになったと思いますので、簡単にご紹介したいと思います。 なお、細かい手順の詳細などは、インターンに参加していた学生さんのGithubにまとまっています。参考文献に載せておきますので、興味のある方はそちらも参照してください。（本テストと直接関係のない内容も含まれています） ■テストの背景 PostgreSQLの9.6develにパラレルシーケン
超高速のPostgreSQLとしてGreenplumを気軽に使う
はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム
PostgreSQL 9.5 New Features in Tokyo at MyNA and JPUG
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
PostgreSQLアンチパターン：外部キー制約の更新コストを見くびる - Qiita
このTABLE定義であやういところはどこでしょう？ サービスにどんなインシデントが発生したか想像できるでしょうか？ CREATE TABLE reports ( id bigserial NOT NULL, user_id bigint NOT NULL, time_of_report timestamp without time zone NOT NULL, previous_report_id bigint REFERENCES reports (id), elapsed_time integer NOT NULL DEFAULT 0, CONSTRAINT reports_id_pkey PRIMARY KEY(id), CONSTRAINT reports_user_id_fkey FOREIGN KEY(user_id) REFERENCES users(id) MATCH SI
PostgreSQL 9.6のパラレルシーケンシャルスキャンを検証する
今年もこの季節になりました。PostgreSQL Advent Calendar 2015のDay1の記事です。 今回は、現在開発中のPostgreSQL 9.6に実装されたパラレルシーケンシャルスキャンについて、動作確認とフラッシュストレージでの簡単な性能検証をしてみようと思います。 なお、現在開発中の機能ですので、正式リリースされる時には仕様や動作などが変わっている可能性があることをご了承ください。 ■「パラレルシーケンシャルスキャン」とは 「パラレルシーケンシャルスキャン」は、その名の通り、シーケンシャルスキャンを並列処理する機能です。 今まで、PostgreSQLでは1つのCPUを使ってシングルスレッド（というかプロセス）でしか処理をすることができませんでした。 しかし、直近のPostgreSQLのメジャーバージョンの拡張を見ていた方はご存じの通り、PostgreSQLではパラレル
RDS for PostgreSQLのログ設定まとめ | DevelopersIO
こんにちは、虎塚です。 前回は、RDSでのDBアクセスログの管理方法をご紹介しました。今回はもう少し踏み込んで、RDS for PostgreSQLを対象に具体的なログ関連の設定項目についてまとめました。 DBログの取得/運用についての設計をするにあたり、大切なのは「ログの利用目的」です。一方、どんなことを決めてDBの設定に落とす必要があるかを、設定項目からボトムアップで見てみるのも、DBMSを理解する上ではよいかと思います。 DBログ設定の項目を検討する前の前提知識 RDSでは、DBの設定項目をパラメータグループで設定します。ひとつひとつの項目を確認する前に、知っておいたほうがよいことを紹介します。 engine-default値の意味 パタメータグループには、engine-defaultと表示されている設定項目があります。 値が「engine-default」になっている設定項目には、
PostgreSQLのアンチパターン : 何でもかんでもjsonに入れる | Yakst
PostgreSQL 9.2より追加されたJSON型だが、特徴を理解して適切に使わないと色々な副作用に悩まされることになる。その問題点を挙げると共に、どのような場合に使うべきかの指針を示す。 PostgreSQLは、データ型としてjsonをサポートしています。しかし、やりたいことがある時に何でもかんでもjson型を使ってしまうというのはやめるべきです。これは、hstoreや新しく登場したjsonb型にも同じことが言えます。これらの型は必要な時には便利なツールになりますが、PostgreSQLでデータのモデリングを行う際に最初に検討すべきものではありません。 なぜなら、データを呼び出したり操作したりするのが難しくなってしまうためです。 何もかも同じところに入れてしまおうとすることによるアンチパターンをご存知の読者もいるでしょう。EAVアンチパターンは、長らくデータベーススキーマにおける必要悪
「PostgreSQL」がスタートアップ企業に選ばれる理由
「PostgreSQL」が格好いいと思われていたことは一度もない。これまでずっと、「MySQL」と比較される醜い継子扱いだった。PostgreSQLの信奉者は、自分の愛するデータベースが、人気の点でMySQLに打ち負かされるのを見続けさせられていた。MySQLの方が機能は少ないにもかかわらず、採用数では圧倒しており、PostgreSQLはさえないおじさんの役回りにならざるをえなかった。 だが、それも過去の話になりつつある。 最近のスタートアップの採用データを見ると、PostgreSQLは今では、強力なリレーショナルデータベース管理システム（RDBMS）を求める、創設間もないスタートアップの開発者に実際に選ばれているのである。疑問なのは、その理由だ。 ほかのみんなもPostgreSQLを使っている 創設して間もないスタートアップ以上に、PostgreSQLが新たに人気を獲得していることが明白
Postgres Toolkit 0.2をリリースしました
本日、Postgres ToolkitというPostgreSQLのDBA向けツールキットをリリースしました。 http://www.github.com/uptimejp/postgres-toolkit/ https://postgres-toolkit-ja.readthedocs.org/ ■「Postgres Toolkit」とは何か Postgres Toolkitは、PostgreSQLの運用管理を楽にするためのスクリプトやツールのコレクションで、DBA業務の品質や生産性を高めることを目的としたツールキットです。 Postgres Toolkitを使うことで、複雑なSQLを実行したり、自前のスクリプトをメンテする必要性が減少します。コンセプトとしては、「PostgreSQL DBA向けのVictorinox（スイスアーミーナイフ）」のようなイメージです。 もともとは、私がトラブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL 9.6 新機能紹介
Deep dive into PostgreSQL statistics.
PostgreSQL 9.5 新機能紹介
2大OSSデータベースのMySQLとPostgreSQLの違い(前半)
HP Blogs - ジェットエンジンで知恵熱をブッ飛ばす ～HPサーバーに初めて恋した - The HP Blog Hub