GitLab.com Database Incident - 2017/01/31

This incident affected the database (including issues and merge requests) but not the git repo's (repositories and wikis). Timeline (all times UTC): 2017/01/31 16:00/17:00 - 21:00 YP is working on setting up pgpool and replication in staging, creates an LVM snapshot to get up to date production data to staging, hoping he can re-use this for bootstrapping other replicas. This was done roughly 6 hou

[jniino]

日本語で状況をまとめてみました。http://www.publickey1.jp/blog/17/gitlabcom56.html

[Mint0A0yama]

Google Docへのリアルタイムレポート生々しすぎる。起きたことは恐ろしいことだけど、ここまで詳細に書いているのは超偉い…。

[bamch0h]

やっぱりサードパーティにデータを任せるのはダメだ！自社で管理しよう！見たいな流れになったりするんだろうか。つらい。

[mar33]

心に深刻なダメージを受けながら頭をフル回転させるのは本当に辛い。辛いんですよ(遠い目)

[astj]

これだけ正直に書いてあるのすごい。教訓に満ちている

[yasuyuky]

読むだけで具合悪くなる人いそう

[mattn]

直視できない。

[rrreeeyyy]

涙なしには読めない

[phonoscopia]

読んでたらさだまさし「償い」が頭に流れはじめた

[wordi]

自分のローカルコミットのブランチを誤って消しただけで動悸早くなるのに(reflogを知らなかった頃)、当事者の人は凄く辛かったのでは

[ya--mada]

これはイイ。方法の選択と理由もあって参考になる。

[cl-gaku]

ちょっと落ち着いたらメシでも行こうぜ、奢るから、の気持ちが世界中で共有されてると思うと胸熱

[la25]

東芝さんに爪の垢を…

[renos]

スパマー死すべし慈悲はない

[Windymelt]

辛かっただろうなあ……

[rzi]

怖い。Postgres9.2付属のバックアップコマンドではPostgres9.6のバックアップが取れない。結構近いのにね。バージョンアップの落とし穴。。。

[nasunori]

うひー

[kaputte]

インシデントが発生しますた

[razokulover]

なみだ

[honeybe]

R.I.P.(ぉ

[tailtame]

https://twitter.com/jingbay/status/826616841938235392 から

[tomiyanx]

怖い

[tiisanaoppai]

too honesty.

[pochi-mk]

中の人がんばれー!!!

[uva]

助からなかったの？

[dabits]

“but it’s too late” 読むだけで胃が痛くなりそうな障害経歴だけれど学びになる。今まさにYoutube Live streamで作業を公開しながら復旧作業しているのも凄い。

[windish]

詳細なレポートらしい。恐ろしくて読めん…

[suzukiMY]

GitLabによる、データベース・インシデントについての報告。https://about.gitlab.com/2017/02/01/gitlab-dot-com-database-incident/ https://www.youtube.com/watch?v=nc0hPGerSd4

[nkuri]

GitLab Live Stream https://www.youtube.com/watch?v=nc0hPGerSd4

[topiyama]

よく公開したな

[rryu]

スパムの負荷でDBのレプリカ側の同期がうまくいかなくなって、こうなったらデータを消してマスター側から全部戻そうって消したらそれはマスター側だったのです！って怖すぎる……

[buenaarbol]

OMG

[akrtak]

"After a second or two he notices he ran it on db1.cluster.gitlab.com, instead of db2.cluster.gitlab.com" この瞬間の血の気の引く感じが想像できて胃が痛い

[shogo_okamoto]

「レストア環境」みたいなものを（一時的に）用意して、バックアップのしたデータをそこに投入し正しく復元できることを確認すればよいの？

[koemu]

🙏

[kazoo_oo]

”but it’s too late. ” 胃にクル。。しかしこのレポートの詳細さは凄い。

[ikosin]

ファーストサーバを思い出した

[wataken44]

@shioyadan おおむねそうなんだけど、ここで詳細な経緯が読める