Summary of the Amazon EC2 Issues in the Asia Pacific (Tokyo) Region (AP-NORTHEAST-1)

2019年8月28日(日本時間)更新: 最初の事象概要で言及した通り、今回のイベントは、東京リージョンの1つのアベイラビリティゾーン(AZ)の一部に影響を与えました。この影響は当該 AZ の Amazon EC2 および Amazon EBS のリソースに対するものですが、基盤としている EC2 インスタンスが影響を受けた場合には、当該 AZ の他のサービス(RDS、 Redshift、 ElastiCache および Workspaces 等)にも影響がありました。お客様と今回のイベントの調査をさらに進めたところ、 個別のケースのいくつかで、複数のアベイラビリティゾーンで稼働していたお客様のアプリケーションにも、予期せぬ影響(例えば、 Application Load Balancer を AWS Web Application Firewall やスティッキーセッションと組み合わせてご

[Mint0A0yama]

冷却システムの詳細はありがたいが、追加発表のRDSと、うちを含めて幾つかの現場で発生したALB（ELB）のエラーに関する記述が無いのが気になる。あれを食らっている以上はMulti-AZで安心とは言えないんだが…。

[iTaro]

「ダメです。冷却システムが機能しません。オーバーヒートします」「エラー率49.99%を突破。サービス限界まで、あと36秒」「故障区画パージできません」「手動リセット急いで」……みたいなやり取りがあったに違いない

[salamander_jp]

GCPに移行しよう！

[gnufrfr]

multi azにしてたんだけど、500エラーちょいちょい出てたよね。elbが障害がない方のazに常に割り振ってくれなかったら意味ないんだけど、どうなっとったんど。

[diveintounlimit]

“複数のアベイラビリティゾーンでアプリケーションを稼働させていたお客様は、事象発生中も可用性を確保できている状況でした。”ほぉ？

[togusa5]

マルチAZであれば問題なかったであろうとの聖旨😇😇😇

[mihyaeru21]

Multi-AZで問題あった件の説明がほしい

[umisora2]

これはすごいな。二、三重に整備されていた。中々自社DCではここまでやりきれないよね〜。あらためてクラウドに乗っててよかった,。 そしてAWSだからこそ、機器交換だけで終わらせずに調査をベンダーにさせられそう。

[tk_musik]

LBが仮死状態になってマルチがむしろ死んだとこもあったと聞いたが。

[takc923]

RDSのストレージにはEBSが使われてるらしいので、この説明でRDSに関してもカバーされてるってことなのかな https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/CHAP_Storage.html

[megascus]

“東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要”

[grafi]

英文の "thoroughly" が和訳に出てないっぽい

[naglfar]

マルチ AZ で障害が発生したという証言が複数ある。

[asa_ca3]

multi AZしてて死んだのはEC2で構築されたAWSサービスが動作不良に陥ったってこと？

[asakura-t]

これは嘘らしい＞「複数のアベイラビリティゾーンでアプリケーションを稼働させていたお客様は、事象発生中も可用性を確保できている状況でした。」／この件の説明がないなら信用できない相手という認識になるよね。

[nekoruri]

Multi-AZ構成であってもALB等で影響出ていた件と、具体的にどのサービスがEC2/EBSをバックエンドで使っているのかの情報が欲しいなあ。

[RabbitBit]

これにはMicrosoftAzureもにっこり。

[kfujii]

"複数のアベイラビリティゾーンでアプリケーションを稼働させていたお客様は、事象発生中も可用性を確保できている状況でした。" うーん…

[ANNotunzdY]

Multi-AZ構成で、ELBとRDSのフェイルオーバーに問題が発生していた件は説明無し

[YarmUI]

RDSとAuroraだったら大丈夫だったか否かと、ロードバランサがエラー吐いてたやつも説明してほしい。

[maetes]

公式かつ一番くわしい。「制御システムの機能が回復するまで冷却システムが最大冷却モードになるよう設計されています。」など色々障害に対しての対策はあったけど全部うまく動かなくなったよという感じ。興味深い

[kotaponx]

Amazon Maxwell's Demonの実装が待たれる

[kei_0000]

AWS等のクラウドサービスの社会的な重要度はますます上がってる。今回郵便局とかドコモの一部サービスも落ちてたらしいし。今回は違うが、悪意の持つ人が内部に入り込まない様に十分な対策をお願いしたい。

[monochrome_K2]

問題に気付いているのにリカバリが失敗続きで間に合わなかったというのは精神的にも辛いし大変だったかも。ただサービスに支障が出たことは肝に銘じて次からは対策して欲しいと思う

[launcher]

うーん、モヤモヤする

[napsucks]

お詫びが最後に来るの異文化感があるな

[tamtam3]

基盤をリタイアさせるほどの熱って、一歩間違えれば火を噴いてただろうから結構ギリギリで切り抜けた気がする。下手すればデータセンター炎上の記事が出てたかもしれない

[t_f_m]

あとで

[srng]

AzureにしようAzureに

[at_yasu]

「運用チームは、影響のあるデータセンターのエリアで冷却システムを「パージ」モードにしようとしましたが、これも失敗しました」ああ……これはつらい……

[Iridium]

室温が高くなったら、自動的にダウンクロックする仕様にしたほうがいいのでは？あとは危険な温度になったサーバーから安全なサーバーにコンテンツを移動する仕組みを作るとか。

[slyskr]

あんなにたくさんのサービスがmultiAZじゃなかったとは信じがたい…。

[koiyaro]

“東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要”

[nakag0711]

電源が落ちるほどの高温って一体室温何度まで上がったのか

[MrBass]

クライアントのキャッシュもあるから、500を一定時間ちょいちょい返すのってしかたないきがするんだよな。 500を全く返さないのを可用性の確保と呼ぶのか、一定時間がどのくらいなのか認識が…

[yogasa]

なんか一部の障害報告とつじつま合わなさそうなの気になるよね…… 変な報告上げられると信用なくすんだけど……

[kazukan]

サードパーティのせいにしてるように読めてしまうけど事実なんだろうなぁ。。