SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？

SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？ 今年、2019年5月20日から3日間にわたりスペイン バルセロナで開催されたKubeCon＋CloudNativeCon Europe 2019の基調講演では、SpotifyがミスによってKubernetesのクラスタを消去してしまった経験を振り返るという非常に興味深いセッション「Keynote: How Spotify Accidentally Deleted All its Kube Clusters with No User Impact - David Xia」（基調講演：SpotifyはいかにしてKubernetesクラスタの全削除というミスにもかかわらず顧客への影響を引き起こさなかったのか？）が行われました。 障害が起こることをあらかじめ計画とし

[a2ikm]

“リストアのテストをしていないバックアップは、バックアップの意味をなしていない。”

[monorod]

本番環境とテスト環境の勘違い操作防止のために、Greasemonkey使って、本番環境のURLの場合は管理ページのヘッダー赤くするスクリプト書いてる人がいて、なるほどなと思ったことがある。

[den8]

ディザスタリカバリでなんとかなった話に見せかけて、まだ本格的に移行してなかったから影響出なかったというだけの話では？

[gomer-pyle]

“社内には、失敗したときに人を責めるのではなく、そこから学ぶという文化を創ること。”

[megazalrock]

“操作するタブを間違って本番クラスタのタブでクラスタの削除を行ってしまう”これが怖いので、基本的に同時には開かない。どうしても同時に開く必要があるときは、別ウィンドウで別々のモニタに表示してる。

[psne]

本番用と検証開発用のURLでfavicon変えておくと気づきやすくなったりもするやつ

[koba789]

クラスタ削除かっこいい

[chocopie116]

失敗のしやすさは挑戦のしやすさだからいい話だなー

[moccos_info]

すごそうなことを言っているが "当時Kubernetesの利用はまだβ段階であったため、各チームには全面的なKubernetesへの移行ではなく、部分的な移行を推奨していた" で旧運用から生かせるルートがあったということでは

[oros]

オペミスを運用でカバーしないという当然ともいえる事が自然に成り立つ状況が素晴らしい。段階的なリスクヘッジ大事。

[kitone]

“リストアのテストをしていないバックアップは、バックアップの意味をなしていない。”

[jitsu102]

「リストアのテストをしていないバックアップは、バックアップの意味をなしていない」「失敗したときに人を責めるのではなく、そこから学ぶという文化を創ること」

[drumsco]

インフラの冗長化。イザというときに活きるのは多様性ということか。手間はかかるが、1色ではなく多色にできるようにしておくと、一族諸共やられる可能性は下がるということか。

[tourism55]

”リストアのテストをしていないバックアップは、バックアップの意味をなしていない。そしてインフラのコード化を進めること。ただし新しいツールの導入は徐々に行うこと。“

[nilab]

SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？ － Publickey

[maecchi]

“失敗したときに人を責めるのではなく、そこから学ぶという文化を創ること”こういう文化があると逆境に遭遇しても立ち向かえそう

[MzdA0w73tg]

昔は本番環境いじるときはstylus(chrome拡張)使ってカスタムcss適用してたなぁ。真っ赤なストライプをopacity調節してオーバレイさせてた。

[Panthera_uncia]

EVAっぽい状況とイラスト

[t-murachi]

ふつーの現場が移行中にこれやったら部分的に致命的な壊れ方してデータ矛盾の修復のためにN日単位でサービス止めるやつや(´・ω・`)

[syouko66y]

何かしらの問題があるから削除したんだよ

[d0i]

段階的な移行中に安全に失敗できた、という意味では「本格的に移行してなかったから影響出なかったというだけ」ではないと思う。移行期はどっちがfailしても影響が出る「ダメな双発機」になりがちなのでは。

[na39yutaka]

誠意が伝わればそれでよい

[mas-higa]

旧システムで凌いだからってこと? 完全な旧システムを残してるんか。金持ちやな。

[potato777]

大きい移行には障害が起こることを前提に計画

[viperbjpn]

全面移行してなかったからラッキーだったって話にしか見えない

[yasudayasu]

リストアのテストをしていないバックアップは、バックアップの意味をなしていない。

[hirata_yasuyuki]

影響範囲が大きい操作する場合、「ターゲットの名前 (この場合はクラスタ名) を手入力させる」みたいなインターフェイスだと良いのかなあ。(事故を100%防げるものではないけど)

[kamenashi1982]

“リストアのテストをしていないバックアップは、バックアップの意味をなしていない。” それな

[airj12]

いい話だ…

[hirose504]

“具体的には、Spotifyにおいて当時Kubernetesの利用はまだβ段階であったため、各チームには全面的なKubernetesへの移行ではなく、部分的な移行を推奨していた。” 結論としては、計画的に障害に備えてたように見えない

[jerryb]

悪夢だけど...起こり得ることはすべて実際に起こる例かも。失敗したときに人を責めるのではなく、そこから学ぶという文化を社内に創るのが一番のバックアップ。

[nicht-sein]

"社内には、失敗したときに人を責めるのではなく、そこから学ぶという文化を創ること"

[kita-tuba]

ここまで失敗してもいいのだというスタンダードになって欲しい(k8s脳

[golbaser-neko]

前いたところ、プラグイン書いて検証用だと緑枠 本番用だと赤枠に変わるようにしてた記憶がある。

[kinushu]

“Terraform”

[Makots]

本番にアクセス可能環境が分離されてないんだな。作業影響が皆無な設計してても、本番データの持ち出し問題とかあるし分離すべきだと思うんだけど。どう制御してんだろ。

[shiopon01]

気持ち分かる…“テストクラスタを削除するつもりで、操作するタブを間違って本番クラスタのタブでクラスタの削除を行ってしまう。”

[rjge]

“ちゃんとバックアップしておく“ “リストアのテストをしていないバックアップは、バックアップの意味をなしていない“ “インフラのコード化を進めること。ただし新しいツールの導入は徐々に行う”

[daishi_n]

blue-green deploymentとCDN組み合わせかな。リージョンごとのサービスが地域に紐づいていなくて、CDNでレイテンシを隠蔽してるからログインなどの処理以外は遅延に気づかないんだろう

[bYMQ]

リージョン2つぶっ飛ばして顧客に影響なかったというのはすごいけど、全世界で共用しているマルチリージョン構築してたら大丈夫なものなのかな？