AWS 東京リージョンで発生した大規模障害についてまとめてみた - piyolog

2019年8月23日 13時頃からAmazon AWS 東京リージョン でシステム障害が発生し、EC2インスタンスに接続できない等の影響が発生しています。ここでは関連する情報をまとめます。 AWSの障害報告 aws.amazon.com AWS障害の状況 障害発生時間（EC２） 約６時間 2019年8月23日 12時36分頃～18時30分頃（大部分の復旧） 障害発生時間（RDS） 約９時間半 2019年8月23日 12時36分頃～22時5分頃 障害原因（EC２） 一部EC2サーバーのオーバーヒートによる停止 制御システム障害により冷却システムが故障したことに起因 影響範囲 東京リージョン（AP-NORTHEAST-1）の単一のAZに存在する一部EC2、EBS、およびRDS。 発生リージョンは東京。東京近郊４データセンター群の内、1つで発生。 日本国内のAWSの契約先は数十万件とみられる。*

[umaemong]

障害多発の一方で、しっかり冗長化されてて動き続けてるシステムも当然あるだろう。動いてて当然と思われがちなシステムを陰で支えている人達に敬意を。いずれにしても、障害対応中の人はお疲れ様です。

[nishik-t]

はーい、対応してました。自動で復帰したサーバーと立ち上げ直したサーバーもあったけどなんとか全部復帰。お疲れ様でした！

[quality1]

たぶんこれでSmartNewsの広告が死んでてクソ快適になってた

[daishi_n]

Multi-AZはDB料金2倍になるのと、ゾーンまたがりのレイテンシが同一ゾーンより大きくなるので、同一ゾーンを前提としたDBアクセス設計のアプリは劇遅になる。この辺はアプリ側で解決しておかないとダメな問題

[electrolite]

PayPayお前は金融トランザクションにクラウドを使っているのか。可用性はともかくセキュリティで背任行為と言われても仕方がないぞ。

[atsushifx]

これでTwitterが止まっていたらと思うと怖い。今後の大規模地震とかの障害対応についてのケーススタディにしたいくらい

[chaz_21]

クラウドは時代の趨勢、オンプレは滅びゆく文化みたいな記事読んで、そうは言ってもクラウドだってどっかにサーバあるんだし障害起きないのかな…と思ってた矢先だったので疑問が解消しました/クラウド否定ではない

[sudow]

東京リージョン使ってるとみんなと同じタイミングで騒げるので羨ましい

[ya--mada]

awsよう知らんから、multi-AZで構成しないものなのかなって思ったんだけど、AZ跨ぎで通信料が掛かるから、敢えて構成しないっていう事だったんかな？http://natural-hokke.hateblo.jp/entry/2014/10/24/133205

[testedquality]

なんかAZ構成じゃいのが悪いというコメント欄になってるけど弊社マルチでサーバＯＫになった後もEBS部分のスローダウンでダメになってるのが発生してたし今回はガチャの側面もありました。4年前より良かった（老害）

[tmatsuu]

さて、今頃読んでいるわけですが、まぁ色々あったけどNDAもあるし何も言うまい。

[letsspeak]

B2Bでまだ載ってないやつ知ってるけど秘密

[gyochan]

唐木田のあの火災さえなければ、もしかしたらこの障害も

[adsty]

AWS障害で影響を受けた国内の主要サービスは結構多かった。

[cinefuk]

ゲームとかwebで完結するものは諦めもつくけど、IoTデバイスが応答しなくなっているのヤバいよな。シェア自転車のカギが開かない程度なら良いが、自宅の鍵だったり走行中の自動運転車だったりしたら？

[sds-page]

リアルアマゾン炎上に合わせてネットアマゾンも炎上

[kamomako]

すごすぎる……。こんなに沢山……。大変すぎるでしょ

[strangerxxx]

金融トランザクションにクラウドはもう当然でしょ

[spitzfreak]

無名サービスも含めると星の数に… (対応で正常動作していないインスタンスをリブートして正常動作確認するだけで負荷掛かっちゃうけど現に動作おかしいし難しいところ)

[solidstatesociety]

Paypayはリスク分散してない設計にも問題ですね

[kibitaki]

おクライアント様が、「AWSってクラウドだよね？サーバレスじゃなかったの？」ってお怒り気味にお問い合わせしてきたのでそっ閉じできない電話を呪った。

[fusionstar]

マンモスプロジェクト https://mmth.pro/ja も障害報告メールがきていました。 あとどこかのサイト (忘れた) も ALB 絡みでか見れなかった。 しかし数分とかならともかく半日ダウンは大変だっただろうな。

[hobbiel55]

ALB(Application Load Balancer)もおかしくなってたので、単一AZの障害にもかかわらず被害が大きくなった面もあるそうですね

[abababababababa]

うっひょぅ…。対応の方々、お疲れ様でした…！みんなわかってますから急がず慌てずで！&代休申請意地でもとって…！！

[hara_boon]

サービス系はともかく決済や暗号通貨系も死んでたのはきついな。もはやAWSは公共インフラに近いくらいの影響があるのでは。。対応されてたエンジニアの方お疲れ様でした。。

[arukam]

影響すごい。というか自分にも影響あったけど。

[guldeen]

逸失利益、どれくらいになるんだろ…（汗）

[raimon49]

単一AZだけで起きた障害だったんだな。各サービスの受けた影響範囲で何となく構成が想像できて興味深い。

[migurin]

災害まとめだよなぁ

[junjuns7]

輸出とか個人情報管理の関係で、日本にサーバがあれば面倒な解釈をしなくていいのでリージョンは日本にするよう指示されることがある。冗長化の選択肢が狭くてこういうとき怖い。

[kannana]

AWSの存在を今まで知らなかったんだけど、Amazonがやってるロリポップみたいなものなの？(おい)

[topiyama]

AWS障害で話通じるユーザーまじでありがたい

[fumisan]

炙り出されたservicerは他のクラウド事業者からオファリングされるのだろうか

[sumakaigan]

ハピタス入ってない！勝った！

[FantaOrange]

EC2、EBS、RDSだけじゃないからな？裏でEC2動いてんだろうなっていう他のAWSサービスも影響受けてたし、未だに手動起動が上手くいかない、一部のサービスステータスが戻らない、とかあるから。こんにゃろー。

[Chisei]

ブコメが面白い。

[harumomo2006]

AWSは銀行でも結構使ってたはずだけどさすがに冗長化してて表面化しないのかな

[NOV1975]

で、「やっぱオンプレだね」からのエンジニア枯渇で「障害が起きました！原因不明で復旧できません」からの「クラウドの方が復旧早いじゃん」までがセットの流れかなー？

[underd]

あとでよむ

[dickbruna]

東京は晴れ、クラウド一つありません。