AWS障害、“マルチAZ”なら大丈夫だったのか？ インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」

AWS障害、“マルチAZ”なら大丈夫だったのか？ インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」（1/3 ページ） 8月23日に起きたクラウドサービス「AWS」（Amazon Web Services）の東京リージョンでの障害は、国内のさまざまなサービスに影響を及ぼした。 AWSが同日午後8時ごろに復旧するまで、モバイル決済サービス「PayPay」や、仮想通貨取引所「Zaif」、オンラインゲーム「アズールレーン」などで利用できない、もしくは利用しづらい状況が続いた。PCショップの「ドスパラ」はECサイトの不具合が長引き、翌日の24日には実店舗を臨時休業して対応に当たっていた。 AWSという1つのサービス障害が起きただけで、多くの企業やサービスに影響を及ぼしたため、「クラウドサービスはもろい」という論調も散見された。 しかし、インフラエンジニアたちからは違う意見が聞こえてくる

[devduf]

MAZでもダメだったという声もあったけど、問題を適切に切り分ければ手作業で復旧できる可能性は残ってたし「詰み」ではなかったという印象。MAZ云々というよりむしろ1AZだったら完全に詰みなのを痛感したかなー。

[yogasa]

物理的に死んでEC2稼働するリソースが足りてないんだから適当に再起動しても復旧しねーよ。あと二度と怒らないとか言いだすのはエンジニアならかなりどうかという感じだが……

[napsucks]

2AZ指定しないと切り離せないってELBの欠陥では？片肺運転できないのかな。

[JULY]

「エンジニアの人々は「落ちない設計」より「落ちにくい・落ちても迅速に復旧できる設計」を目指しているということだ。」はい、いつも「落ちるとは何事だ！ けしからん！」という人たちと戦ってます。

[takashi0314]

今回と同じ障害はたぶんもう起きないから、あんまり突き詰めて考えても意味ないんじゃないかなという気がする

[terencow]

“「はっきりとは分からないが、ログを見る限りでは障害に対してSpotinstがある程度うまく動作したようだ」”Spotinstの人に取材してみてほしい

[dk19810313]

障害が起きてないAZのインスタンスも暴走してたのは。。 さすがにオンプレミス回帰はないよね。

[katzchang]

チーフの見解だ

[sasasin_net]

EC2を停止して起動したら、運良く死んでない別筐体に移って、正常に起動しそう。停止と起動を実施できるならいいけど。ALBは何か別に作るしか思いつかないぞ

[rgfx]

アプリサーバならまだともかく、ロードバランサ＆管理画面が一蓮托生なのはキツい。／まぁクラウド使ってんなら、サーバへのアプリケーションデプロイはコンテナ化してて当然、というご時世だわなあ。。

[arajin]

「大規模災害など、東京リージョンの全てのAZが壊滅することを想定すればマルチリージョンや他社クラウドとの併用も考えられる」

[kiyoshishigemichi]

たまに読み直そう。

[daybeforeyesterday]

うーむ

[Nyawledge]

起こったらどうするか？というより、「落ちない設計」「迅速に対応できる構造」という所にどんな課題解決もそうでありたいと思うんだにゃ。

[asakura-t]

ここに書かれてないイヤげな話も見かけたからねぇ…。

[quabbin]

「オンプレミスで同様の障害があったときに同等の速度・労力で復旧できるかには疑問符が付く」ほんとね…。で、オンプレでも壊れる時は壊れるし、壊れないようにリソースどのくらいかけれるかを考えるべき

[YarmUI]

FGO君運が良かっただけ・・・

[nayuneko]

“FGOを開発・運営するディライトワークスに障害対応について聞いたところ、「FGOで利用しているAWSのリージョン自体は公表していない」と断った上で、「FGOで利用しているAZは障害の対象ではなかった」と明かした。”

[stp7]

現状は3AZにするしかないな。まあ2AZでも動いてくれると助かるんだけど。

[manFromTomorrow]

悩ましい

[snobsnog]

落ちない設計なんて無理に決まってるんだから障害対応をきちんとするってことだよね

[baca-aho-doji]

2azで片方潰れたときの障害テストってやってなかったのかな…っていうかやれないのかな？あんまりaws詳しくないけどオンプレだったら当たり前だと思うので、単にテスト漏れ（もしくは設計ミス）って思うんだけど。

[momonga_dash]

ブラックボックスだから仕方ないけど、リバースエンジニアリング感あるな。謎が深い。

[takuya831]

ネットのインフラも電気水道ガスレベルの生きる上で欠かせないものになってきた。。。

[kura-2]

これなら大丈夫て構成はない。もちろん備えはするんだが冗長かしても落ちるときは落ちる。落ちることはあるが被害を局所化、てのは、やっておきたい

[impreza98]

全世界のリージョンでみればAWSも結構障害起きてるけど、東京リージョンが巻き込まれるのはあまり無いし、あってもだいたいは軽微なもの。オンプレよりはよほどリスク少ない

[masakanou]

ロードバランサのデプロイ先を3AZにしておいて障害AZを切り離すのか。

[ebibibi]

クラウドだろうとオンプレだろうと、どこまで想定しても「想定外」のトラブルは起きますからね。

[daishi_n]

ALBとClassic ELBの違いか。Classic ELBはシングルAZができたはず

[hiroomi]

“コンテナ化などでサービスを落としやすく立ち上げやすい環境にする”

[yutaka_maruoka]

落ちたあとの対策としてのコンテナ・アーキテクチャと。企業向けだとコンテナ数すごいことになるから、コンテナ管理アーキテクチャというか製品の選択が重要になるんだろうなぁ。オープン系の基幹部として。

[koolmiura]

今回の件で思うのはどこまでが障害でどこからが突発的な事故になるのかと。

[Chisei]

チーフ！