GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO

GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ

[hirata_yasuyuki]

「アップグレード中のコンソール画面を含めたウェブ会議の録音まで YouTube に公開」例のリカバリのときもそうだけど、これが出来るのすごい。生半可な技術力では怖くてできない。

[gachapining]

6TBって思っていたより結構軽いのね。GitHubだとどのくらいになるんだろ。

[JULY]

手法そのものには、魔法は無い。きっちり必要な準備をしているだけ。強いて言うと、リカバリープランがクラウド時代を象徴している感じ。

[kazkun]

似たようなことをしているけど、ダウンタイム短縮が優先課題ではないのでdump/importにした。一日仕事だった。

[kiririmode]

postgresqlのアップグレード方式

[diveintounlimit]

思ったよりだいぶ容量少ないな？

[koyancya]

pg_upgrade、わしでもやれるくらいマニュアルが分かりやすいから好き

[tito1201]

iine

[mas-higa]

なんでタイトル 2TB なん? と思ってリロードしたら 6TB になってた

[hiranon]

GitLab (CE Omnivous 版)は社内で使ってます。大変お世話になってます…。

[nkgr]

強い

[komutan1]

2時間で移行したことではなくそこまでの準備がすごい。

[n314]

昔のはてなっぽい。

[circled]

Macでbrew upgradeして古いpostgresqlデータが使えんぞ？と怒られた人は brew postgresql-upgrade-database を実行しましょう。あっという間に救われます。よほど変な使い方しない限りpostgresの方がメンテは楽かと。

[tsutaken]

PostgreSQL久しく使って無いな…

[nakag0711]

pgadmin4にはpg_upgrade後にtemplate1が表示されるようになるというバグがあり近々修正が公開予定

[aa_R_waiwai]

「9.6？」と思ったら、9.6って割と最近（2021年11月）までサポート期間があったのか。9系は、もう2020年くらいにはサポートが切れてるもんだと思ってた。 https://www.postgresql.org/support/versioning/

[kenzy_n]

コミットした

[akulog]

テモナで検証したけど、ちゃんと使えばpg_upgradeは優秀だとおもったよ。