オミカレにおけるAWS SQS/Lambda/CloudWatchの障害対応｜uedy

2020年4月20日18:58頃に発生したSQS/Lambda/CloudWatchの障害への対応 20時12分に対応を開始。それからリリース、動作確認が取れたのが21時25分でした。 オミカレでもAWSのSQS/Lambda/CloudWatchを利用している。主にメールやPush通知を送信しており、これが止まれば 会員登録・予約 などの様々なユーザー体験が損なわれる。 なので対応を議論していたところ 天才的ひらめきですぐに移すことに取り掛かった。 結果から行くとSQSとLambdaのリージョンを移行するという手で解決できた。 移行先は近場、白羽の矢は香港か、シンガポールでした 距離で行くと香港だというはなしでしたが、香港に行くとリージョンの有効化から始めないといけないしなにかのwarningが出ているのでシンガポールにすることにした。 SQSの障害だけ察知していたのでSQSのリージョン

[Soudai]

オミカレ、この状況下でリージョン移行出来たのが凄いし、何よりすでに振り返りがこうやって表に出てくるのがすごい。 #AWS障害

[pikatenor]

ウォ、ここでリージョン変更実行できたサービスすごい

[gayou]

なるほどリージョン移行する手があるのか。実際に実行までしたのもすごい。

[cakephper]

対応が早くてすごいな

[eigo_s]

昨晩のはリージョン切り替えがやはり一番の有効手か

[xiwqpwix]

はやい

[nmmmmn1]

対応早いし共有も早くてすごい

[asuka0801]

決断と対応早い。素晴らしい。

[ikkitang1211]

リージョンの切り替えからアウトプットまですべてが迅速で対応が出来た

[oooooo4150]

はやっ

[at_yasu]

凄い