8月23日のAWSの大規模障害でMultiAZでもALB（ELB）が特定条件で500エラーを返すことがあったという話 - Make組ブログ

このブログ記事で 「MultiAZ」にしていたら何事も全て大丈夫という認識を変えられると嬉しいです （当該の時点で障害起こした人はちゃんとMultiAZにしてなかったんでしょ？という人の認識も変えられると嬉しいです）。 MultiAZにしておくことは基本 です。 その上でも、 安心しきらずに監視は必要 という話をしています。 MultiAZ構成にしておきましょう そのうえで監視、検知、トレーサビリティを大切にしましょう MultiAZ要らないという見当外れの解釈はしないでください （一部、間違えた解釈をしてるコメントも見受けられましたが、大いに違います）。 前提 2019-08-23、AWSで大規模な障害が起こりました。 障害の一般的な内容は以下のとおりです。 まとめのブログ https://piyolog.hatenadiary.jp/entry/2019/08/23/174801 AW

[netcraft3]

今回マルチAZなALBでも障害が起きたのでマルチAZ神話が音を立てて壊れていくのを感じた。

[koolmiura]

障害にキレイなモデルケースなんか無いので何かで大丈夫なんてないし起こった時の被害を最小限に抑える方法を模索し続けるものと思ってる。その意味で Multi-AZ にしておくのは Single よりは予防策として有効と思うけど？

[iwasiman]

やはりマルチAZ構成でも発生とのこと、これはためになる記事。普段からの監視や思い込みに寄らない解析が大事なんですね。

[aki03]

冗長化難しいよね。壊れ方は無限にあるわけで、その全てで適切に自動でフェイルオーバーできるかというと無理なわけで。

[LM-7]

最初はマルチAZにしてないところが死んでいるのかと思ってしまった

[synopses]

PayPayの障害はこの辺が原因か？ ますます障害報告書が楽しみになってきました

[umakoya]

あー、これだ。目視でときたま500エラーが返ってきてた。ブラウザリロードで戻る。ALB自体がおかしくなってたのか。

[nn1021]

>題が発生する前提でちゃんと監視、検知、トレース　確かに。全てのエンジニアに一読して欲しいね。

[NeoCat]

いくつかのサービスの一つでELBが応答しなくなったりコンソールで一切情報が取れなくなるケースは見たな。対応方法はこの記事と概ね同じく障害AZを含まないようにすること

[sekaiiti]

マルチAZでもALB自身の動作がおかしくなり死ぬのか…可用性の考え方が変わるね…

[matsubobo]

ちょうどこれに該当していました。Appサーバは50x返していないけど、ALBは、Appサーバが50xを返しているというレポートでした。

[asakura-t]

これはまだ軽微な例っぽい。twitter眺めてた範囲でももっとイヤげな状況が色々あったらしい。

[slash_01]

以前、全く別の理由でマルチAZでも全停止レベルの障害喰らったことあるので、安心は出来ないなぁと思ってた。 まあ、コストとの天秤ですよね。

[takeshiketa]

なるほど.障害のあるAZのALBの方にDNSの振り分けが行ってたということかな。 / これ読んでMultiAZだめなんだって結論になっちゃう人、なんか何やってもだめな気はする・・・。

[Haaaa_N]

あーマルチAZでもダメだったのか

[Chocolat520]

"インフラ環境を信じすぎず、自分のアプリも信じすぎず、問題が発生する前提でちゃんと監視、検知、トレースする"　だいじ

[osugi3y]

憶測になって申し訳ないですがアマゾンの多摩のデータセンターが物理的に炎上したのに起因するかもしれません。あくまで憶測です/ https://r.nikkei.com/article/DGXMZO33556550Q8A730C1000000

[chikisio]

MultiAZでふつーに落ちたわ。今回の事件を批判されたら、対策としては別リージョンでホットスタンバイしろってこと？きっつー😢

[causeless]

"@ichinose_iroha “8月23日のAWSの大規模障害でMultiAZでも突然ALB（ELB）が特定条件で500エラーを返しはじめたという話 - Make組ブロ…" via https://twitter.com/ichinose_iroha/status/1165153685011193862

[ko-ya-ma]

マルチでもアウトだったという単純な話ではなくて、ロードバランサーの異変に気付けないとアウトになるという話だった

[hiby]

＞大きな問題でなく「静かに少し死ぬ」、そして影響範囲は大きい　説明がめちゃくちゃめんどくさいやつ。マルチAZでもあかんかったんかーい

[knok]

クラウドらしい壊れ方

[havanap]

設定変えるだけで動くならMultiAZの意味はあるよね

[michiomochi]

こういうのあると、難しいこと考えずSingle A-ZにしてAWSがやらかしたらしょうがない、にするのが妥当に思える。 (DBは守るとして)

[iga_k]

知見。ALBがエラーになるケース本当に難しいな。ぶら下がる？インスタンスのAZを変えたら復活ってわかったのすごい。

[m1104m]

これたしかに13時過ぎから16時半ぐらいまでこちらも同症状が起きてた。EC2側は問題起きてないし、全部の通信じゃないから、あまり気にしなかったけど。

[katsusuke]

そこで Route53 を使ったDNSラウンドロビンですよ

[masakanou]

ALBがやられちゃうとマルチAZでも厳しいな...

[bYMQ]

“ALBを利用させているAZから、特定のAZを消すと問題なく動作するようになりました。”これはマルチにしてたからすぐに対応できたんだよね？問題ない片方だけにするとか普通でしょう

[JULY]

ALBに限らず、どこかのAZに配置するもので、並列動作するものは、完全にAZが切り離されるような物じゃなければ、無傷では居られない。

[hiromo2]

半死は厄介。時代は繰り返すなあ。

[asuka0801]

色んな話聞いてるとAZ障害といえAWSの推しているmultiAZにしてるから安心って訳でも無かったみたいね。良い教訓になった。

[ebo-c]

私は論理的ではないのだけれど障害報告の規模から単なるシングルAZ障害にとどまってはいないのでは？とうっすら思っていた

[hateshinaiz]

Multi-AZにしておくことが全ての基本。Multi-AZにしなくても変わらないという誤ったメッセージを伝えてはいけない

[gfx]

"ともかく安易に「コレをしていたから大丈夫」、「コレをしないのが悪いんだ」と思わずに、今一度問題が起こっていないか、今後何をできるかを考えたほうが良いでしょう"

[yuma_0211]

今回自環境のマルチAZ構成で乗り切れたからやっぱり落ちちゃいけないシステムは最低限必要だと思うけど、このALBのケース怖いなー。書いてくれてありがたい

[tomonkyo]

マルチAZなら平気ではムジナでした😣

[take4mats]

ALB何者なの？ってのが気になる

[quabbin]

LBのソフトメンテによる障害かぁ。ありがちだなぁ。

[raimon49]

LBを疑う。エスパー能力が求められる……。