Googleでもやっている障害対応訓練の「Wheel of Misfortune」をやってみた。 - MonotaRO Tech Blog

序文 こんにちは。MonotaROの伊藤です。 弊社では障害対応訓練の実施手法の一つであるWheel of Misfortune(略称:WoM)を実践しています。WoMの導入で、障害対応体制の強化を行うことができましたので、実施までの経緯や得られた学びなどを中心に紹介したいと思います 序文 運用担当者の負荷が高まり続ける問題 運用担当者=社歴が長いベテランエンジニア 運用のスケールアウト 障害対応訓練をやってみよう 訓練環境の準備の問題 訓練シナリオの問題 外部からの助け Wheel of Misfortuneとは 実施時の様子 シナリオ開始時の様子 モニタリング画面の表示 WoMとDiRT(Disaster in Recovery Training) 障害対応訓練をやってみた結果 準備時点で感じたメリット 手順書の不備を発見できたこと 障害が起こりかねない場所を考えるきっかけになったこと

[medihen]

"過去の障害事例を元にシナリオを作成し、テーブルトークロールプレイングゲームのようにゲームマスターとプレイヤーが紙やドキュメントベースで会話をしながら、発生した障害の解決を目指すロールプレイを行う"

[sho]

TTX という語がすでにあるのに、なんで新語を発明するんだろうなー

[ryuichi1208]

“運用担当者=社歴が長いベテランエンジニア” そうなっちゃいますよねぇ

[tmatsuu]

ほう、初めて知った。「運用担当者=社歴が長いベテランエンジニア」うっ目から汗が...

[isrc]

口頭と机上で全てが終わるため準備が容易かつ、実システムも用いない事から状況遷移のコントロールがやりやすいのがWoMです。DiRTよりも低コストで準備できる上、その実施によって得られるメリットは想像以上に大きい

[koroharo]

よさそう。

[fog-og-frog2]

https://podcasts.apple.com/in/podcast/on-call-rotations-with-andrew-widdowson-apw/id1615778073?i=1000561839396 GoogleのSREの中の人はcheesy way(安っぽい言い回し)だけど...って断りを入れてたしTTXのセキュリティがまず浮かぶ大ごと感を除きたかったのかな

[ryu-zen]

“Wheel of Misfortune(略称:WoM)”

[miki3k]

紙ベース訓練。シナリオ作成だけでも良

[degage122]

“複雑なシステムの挙動を全て網羅しなければ作成が出来ないシナリオのコントロール性などが解決 “障害が起こりかねない場所を考えるきっかけになったこと“フルの障害対策は準備コストが高い為頻繁にはできず…“