Mackerel で行った障害対応演習を紹介します - Hatena Developer Blog

こんにちは、Mackerel チーム SRE の id:heleeen です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の4月号で、先月分は id:taxintt さんのサービスの一般公開前からSLI/SLOと向き合うです。 今回は、先日 Mackerel チームで行った障害対応演習で実施した内容と、どのような学びを得たかについて紹介します。 本番障害はできればなくしたいものですが、すべての障害を完全になくし可用性を100%にするのはとても困難です。そのため、障害が発生したときの影響範囲を小さくする仕組みを導入したり、ロールバックを素早く行えるようにしておくなど、影響を抑えるための取り組みが必要になります。 Mackerel では、その一環として、障害対応時のオペレーションの確認やバックアップからの復旧が行えるかの検証などの起きてしまった障害を素早く収束させたり、

[itchyny]

ちゃんと引き継がれている… (内容がそこそこハードなのも…)

[integrated1453]

SREがサポートに徹して障害対応のEnablingするのすごい “ この演習ではアプリケーションエンジニアが手を動かすことを目的としたため、SRE は障害の対応ではなく、調査や対応に困っていそうなときのサポートを行います”

[side_tana]

すごい

[daiksy]

これが噂に聞いていた地獄のシナリオ…

[kenzy_n]

こういったことをリリースしてくれるサービスは信頼性が高い。

[onk]

座学と実践の障害対応演習を定期的に開催しています。(前回は定期バックアップすら吹っ飛んだという演習でエグかった / 学びが多かったのめっちゃ良〜

[syou6162]

RDS、うっかり消し...たく絶対ない