AWS大障害、冗長構成でも障害あったと公式に認める

米アマゾン ウェブ サービス（Amazon Web Services）は2019年8月23日に発生したクラウドサービス「Amazon Web Services（AWS）」東京リージョンの大規模障害に関して同月28日、新しい報告をWebサイトに掲示した。障害が発生したサービスを追加したほか、利用企業が複数のアベイラビリティーゾーン（独立性の高いデータセンター群、AZ）横断の冗長構成にしたシステムにも一部で障害（予期せぬ影響）があったと認めた。 障害が発生していたサービスとして追加したのは日経 xTECHの既報の通り、アプリケーションロードバランサーの「Amazon ALB」、インメモリーキャッシュの「Amazon ElastiCache」、データウエアハウスの「Amazon Redshift」、仮想デスクトップの「Amazon Workspaces」などだ。仮想マシンの「Amazon EC2

[kei_0000]

ALBを使った構成でもダメなら、対策はマルチクラウドとかになるので色んな意味で相当厳しい。数年に1度の障害に備え、毎月いくら追加費用や人件費をかけるかという話になる。なんとかAWS側に頑張って頂きたい

[t_motooka]

こうやって報じてくれるのはありがたいけども、障害報告の原文へのリンクを貼ってくれないのは片手落ち感…

[newnakashima]

AWS今回の件で結構株落とした気がする。

[LM-7]

当初からマルチAZでも障害が発生したという報告が上がっていたにも関わらず、公式見解でマルチAZでは問題は回避できたと断言して、このざまか。2AZマルチでも単一AZ障害には対処できるようAWSには改善願いたい。

[htnmiki]

医療消防警察あたりの命に関わりそうなとこ以外はそんなに頑張らなくても「そのうち治るんじゃね」じゃダメなんか

[kuracom]

締めのコメントが雑

[call_me_nots]

せめて報告へのリンク張ろうよ

[RabbitBit]

AWS安全神話が崩れたのが痛い。オンプレ回帰運動との戦いを懸念している。

[dazz_2001]

今回の件で、AWSの評価落ちた？自分としては、逆に評価上がったんだけど。報告を含めて、ここまで完璧な障害対応できるのは、さすがはAWSと思ったんだけど。

[tanimiyan]

https://aws.amazon.com/jp/message/56489/ / AWS 安全神話なんてそもそも存在しないでしょ。たまたま東京リージョンは開設以来致命的な障害に見舞われなかっただけだしそもそもDesign for Failureを薦めてる

[daybeforeyesterday]

うーむ

[mugicha1000]

偉い人がこれだけでawsダメだと思いそう そしてハンコ押してくれなくなりそう

[zapperd]

これに関してはもうどうしようもない気がする

[nmcli]

冗長構成をAWS内で完結させるの意味ないなと再認識

[buenaarbol]

完璧は無理だし、地震とか火災と一緒で保険を検討するのかな。

[rryu]

EC2インスタンスの起動障害がリージョン全体だからそれが原因なのだろうが…

[yodelx]

EC2やRDSはともかく、ALBはAWS側で冗長化してほしいなあ。

[uskey]

“AWSはこれまでそれらのサービスがEC2とEBSを基盤として動作していることを公表していなかったが” 影響範囲イメージしやすくなるから、どのサービスが依存関係にあるかみたいなの知りたい

[stk132]

マルチリージョンもマルチクラウドもやりたくないので、AWSさんサイドでALBをいい感じにしてくだせえ。

[mongrelP]

流石にこれは…

[Lumin]

ハードウェアに起因する障害が発生するのはオンプレもクラウドも同じ。完徹してやっと復旧するか酒飲んで寝てたら勝手に復旧されるかの違いはある。

[lyiase]

今回殆ど被害を受けなかったが、もし受けたとしてもSingle-AZ ALB×AZ2個以上 + CloudflareのWAFとロードバランスとかしたら結構良いのでは無いかと思った。Cloudflareが事故ったら死ぬけど、今回よりも他の人の被害多いだろうしｗ

[t1mvverr]

オンプレだと温度異常以外の障害対応に追われて辛そうだけどな。

[zakinco]

AWSでも長時間落ちるんだから、格安パーツで組んでる俺のサーバーが落ちたって当然だよねって安心した。

[tangency]

AmazonというかGAFAは一種の宗教になりつつある。天動説が否定された当時の学者たちの反応はこんなかんじだったんだろう。

[hirokiky]

当初からこの記事で報告してたとおりだった https://blog.hirokiky.org/entry/2019/08/23/200749

[ya--mada]

AWS側で ALBインスタンスの制御見直しなのでは？ALBに入るトラフィックを上で曲げるとか、異常インスタンスをパージするとか。

[asakura-t]

↓「マルチリージョンにすればいい」と言ってる人はどこのリージョン使うつもりなんだろ（大阪は使えないし、外国は重くて使い物にならなかったりしない？）／当初はAWS側が「問題ない」って言ってて問題を隠そうとし

[stp7]

3AZ以上でないとマルチAZにする意味がない状態だからね。

[natu3kan]

中途半端に落ちなかったから、バックアップがしっかりメインで動くかどうか悩んじゃったみたいな感じなのかな？

[mouki0911]

AWSもなんかしらの対策はするんだろうけど、「仕方ないでしょ」で済まされる感がいまいち納得いかない。何はともあれ、対応された方、お疲れ様でした。

[amatou310]

ユーザー側でALBから切り離さないといけなかったのかな

[manFromTomorrow]

マルチクラウドの前にマルチリージョンかな。レイテンシの問題はあるけどマルチクラウドよりは切り替えの容易さでアドバンテージあるのでは？

[snare_micchan]

マルチリージョンやマルチクラウドはBCP対策として検討の遡上に上がるようなもの。BCPに金かけられる企業や団体はかなり限定されるから、この二つの対策も広まることはないね

[lizy]

これを改善してさらに堅牢になってくれると期待

[lifefucker]

マルチリージョンでもおこるの？

[roromoyo]

スティッキーセッションで書かれた振り分け先のEC2インスタンスがap-northeast-1aだった場合にALB側が死にきらないインスタンスを参照しようとしたけど、失敗する状況が発生した感じかね

[FantaOrange]

知ってた。今回は多分「落ち切らなかった」から影響出ちゃったものと思われる。これ、オンプレでもクラスタとか組むとよくある事。あぁクラウドでもやっぱそうなのね、と改めて思ってしまった。