マルチAZ構成で単一AZの障害の影響を受けるのは何故か？ - プログラマでありたい

昨日の「AWSのAZの割り当ては、アカウントごとに違うという話」で宿題として残した、マルチAZ構成で単一AZの障害の影響を受けるのは何故かという問題について考えてみます。キーワードはELBです。 前提としてのELBの実装（の予想） マルチAZ構成での障害発生原因を検討する前に、まずELBの実装について考えてみましょう。5年ほど前に書いたELBの挙動からみる内部構造の推測です。 blog.takuros.net 旧ELB（CLB）をもとに書いていますが、ALBでも大きく変わらないと思います。要点としては、ELB自体は、AWSが管理するEC2インスタンス上で稼働し、バランシング先のAZにそれぞれ配置されているということです。図ではELBインスタンス（仮称）として表しています。そして、ELBインスタンスへの振り分けはDNSの名前解決で実現している点です。このアーキテクチャは私の個人的な予想ですが

[dkfj]

珍しくちゃんと宿題をしました。単一AZの障害で、何故マルチAZ構成でも影響を受ける可能性があるのかという考察です

[Kil]

「AWSを信じて待つというのも正しい選択肢」あのアマゾンさんの大規模障害なんだし諦めてください、っていうのに説得力を持たせる上でも、一番シェアのあるクラウドサービスを選ぶという意味はあるんだよなぁ。

[tanimiyan]

ELBも結局はEC2基盤上で動いてる説、ElasticacheやDirectory Serviceも死んでたから納得感ある。そして今回の問題で可用性に対する考え方や障害検知・監視とかの知見が増していきそうとは自分も実感してる

[proverb]

"マルチリージョンやマルチクラウドなど勇ましい話を聞きますが、殆どのケースで費用対効果に合わない" 本当これ。でもユーザの立場ではそんなん知ったことではないのも分かる。運営者としては謝罪するしかない。

[oooooo4150]

もしELBのデプロイ先AZをコントロールできるなら、別AZにELB立てる+Route53のDNSFailoverで対応できそうなんだけどな / 追記)普通に指定AZ分ELBが配置されるのを理解してなかった🙇https://b.hatena.ne.jp/entry/4673572413495215010/comment/daishi_n

[Cald]

？？？この件、WAFの問題もしくはWAFとALBの連携の問題と思うけども。

[daishi_n]

AZがまるごと応答ないなら楽なんだけど、中途半端に応答するとフェイルオーバーがうまくいかないケースがあるよね。3AZ構成にするにはRDSをAuroraに切り替えないといけないので、プロプラDBはDB移行コストが発生するし

[LM-7]

AmazonはマルチAZで問題を回避できたと主張するならきちんとベストプラクティスを発表すべし。

[akulog]

あー、わかる。たぶんEC2インスタンスで動いてるんだろなーとはおもった。あとLambdaはEKSとかk8sクラスターだろなーとか（想像

[JULY]

前提の ELB 実装の想像は、自分も同じ想像をしている。で、インスタンス側に問題があれば、ELB から勝手に切り離されるけど、微妙な状態だと、ELB 自体の IP が DNS 上で提供され続けるところが問題。

[yoshikidz]

AZのスケールスクリプトか。やっといたほうがいいな

[togusa5]

この仮説は妥当と考える。ただし対策の記述は虚無でしかない。

[greenbuddha138]

アルクマール！ランツァート！マタイセン！アルベラーゼ！！！14年前！

[madeoffat]

"問題が発生するケースは、ELBが☓の場合だったのではないかと推測しています。もっと言うと、ELBが中途半端に壊れかけの場合だった可能性が高いです。そうなるとDNSにより障害が発生しているELBに振り分けられ、問題に"

[ebibibi]

AzureStack は2000万円くらいでも買えるんですけども…。今回のようなケースの障害ではオンプレでシステム継続させましょうってのは方策として成立すると私は考えます。まあ、前提は色々と必要ですけど。

[cocoonP]

「半死に」を想定するなら、ELBからEC2の死活監視部分で半死に時に振り続けられて502/503というのも普通に想定されるし、3AZだから回避される性質のものでもないような……。

[jacoyutorius]

数時間のシステム停止が人命に関わるとか数億の損失が出るとか、そういうの以外はマルチAZで十分だよねって思う。。

[fut573]

競合が先に死んで難民が流れ込んだ結果、平常時より負荷が上がって死んだ例があった。

[rryu]

要はELBもフェイルオーバーに失敗していたという感じでAWS自身もこうなのだからマルチAZにすれば稼働率100％は当たり前というわけでもない。

[t_motooka]

うちもこれと同じ影響を受けてたんだろうなー。裏付けまでは取れてないけど、起きた現象を上手く説明できる。

[stp7]

マルチAZにするのはいいけどちゃんとフェイルオーバーテストして欲しいね。

[karton]

AZって何の略かわからないのでAmaZoneということでいいですか？

[manFromTomorrow]

運用回避するなら安易に3AZとかいう黒魔術をすすめるのはコストメリット無いと思うけど

[iwasiman]

ELBが対象AZの枠の中にあるから単一AZの障害を受けることもあり、3AZ構成が現実的という話。いやーこれも勉強になります。マルチクラウドだーとイキるのはやっぱり勇み足なんですね。

[hateneko28]

あとで

[estragon]

「マルチリージョンやマルチクラウドなど勇ましい話を聞きますが、殆どのケースで費用対効果に合わないと思います。比較的簡単にコストもほぼ変わらないで実現する方法としては、2AZではなく3AZ構成にすれば良いと考え

[astap]

あぁそうか。LBが対象AZにいたらどうしようもないね。

[call_me_nots]

“じゃぁ3AZ構成が有効として、障害が発生した時にすぐに対応すべきなのでしょうか？これも現実的にはNoです。もし上記のような対応をするのであれば、設計段階で3AZから2AZへの縮退稼働を織り込んでおく必要”

[dlive1]

ロードバランサーELBのファクターを考慮するケース、しないケースで考察。すばらしい

[endok]

この説明でスッキリかも。公式発表欲しい。

[Ikalga]

この説で自分のとこのサービスが障害起こしたのもわりとキレイに説明つくので蓋然性高そう。3AZ構成もコスト/性能面でうーんってなる