AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず

AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反応しないなどでサーバが過熱し、障害に至ったと説明されています。 8月23日午後に約6時間の障害。EC2だけでなくRDSも 報告によると、障害は日本時間2019年8月23日金曜日の昼過ぎに発生。影響範囲は仮想マシンを提供するAmazon EC2とブロックストレージを提供するAmazon EBSのそれぞれ一部。以下、AWSの報告を引用します。 日本時間 2019年8月23日 12:36 より、東京リージョン (AP-NORTHEAST-1) の単一のアベイラビリティゾーンで、オーバーヒートにより一

[gachapining]

これは AWS がオンプレで運用していたから発生した障害。クラウド化していれば問題は発生しなかった。

[mkusunok]

マルチAZで組んでもELBが正しく縮退しなかったケースが結構あるようだけど、どう設定していればこの規模の障害を乗り越えられるのかガイダンスが欲しいな

[odakaho]

言われてみればというか、データセンターじゃ当たり前なんだろうけど、制御不能で最大冷却に倒すのね。創作のネタになりそう。 “フェイルセーフ機能が発動して最大冷却モードに入るはずが”

[t-murachi]

こういう事故が起こったときに、インフラの裏に人の手の存在を実感したりもする(´・ω・`) どつかれさんです(´・ω・`)

[hobbiel55]

「マルチアベイラビリティゾーン構成にしておくことで可用性を保つことができたと説明されています」←にしては、ずいぶん色々なサービスが停止してたなぁ

[TokyoWorker]

どこの施工だったのだろう？ 高砂熱学とか？？新菱冷熱？？ 怒られ発生するのだろうな。 もしかしたら、アズビル、ジョンソンかもだけど

[B-108]

結局クラウドも、どっかの建物の電源が消失したらダメになるってことじゃん。3.11の後、それが嫌でデータセンターに場所借りるのやめてクラウドにしたサーバー管理者も多いのに。期待していた分ダメージもデカい。

[poad1010]

来年あtありはIBM（東日本リージョンあれば）やGoogleあたりが落ちたりしてな。 しかし、何で東北とかじゃなくて東京にDC置いてるんだろうね？ 暑いだろうに

[wn_trinity]

マルチAZの保守代とか構築費用考えると「AWSでも落ちる時は落ちるんじゃボケ」っていう同意をクライアントから取っとくのが費用的にも時間的にもベストな選択だったのかなと思ったりします

[rgfx]

で、マルチAZがまるで駄目だったのはどういうことなん。 https://twitter.com/ito_yusaku/status/1164823260262834177

[fhvbwx]

ハインリッヒの法則から考えて公開されていないだけで小規模障害はそれなりにあるんだろうなあ

[aox]

こういう設備を用意しておいたほうが良いですね https://www.google.com/search?q=%E5%A4%A7%E3%81%86%E3%81%A1%E3%82%8F&tbm=isch

[deztecjp]

原発支持派なんだけど、世界最高峰の人材が関わっているはずのAWSでもフェイルセーフに失敗するのでは、やっぱり人類には無理なのかな、と思った。

[instores]

空調を止める事が出来ればオーバーヒートしてシステムが再起動する。その隙に侵入すれば核を止められる。そうだろジョン？

[kastro-iyan]

サマーウォーズのスパコンが頭を過ぎったけど、あんな感じだったのかな

[s025236]

該当AZのELB含んでるとマルチAZ構成のELBでも障害起きるって本当なの？マルチAZのRDSも死んでたって話も見かけるけど、公式な発表は見当たらないのはAWSが隠し事してるのかな？？

[jun200]

ちょっとあれだな。あとで読んで見るかも

[ardarim]

フェイルセーフ「こんなこともあろうかと」「……」「あれ、おかしいな、こんなはずでは……」

[warp9]

空調が原因とは。

[satomi_hanten]

ボーイング737MAXみがある

[longroof]

アマゾンが燃えてたのは別のニュースなはずだろって(´；ω；｀)…

[marmot1123]

短期間でここまでできるのむしろすごいと思ってしまうのは自分が弱々だからか。

[kolorz]

https://dev.classmethod.jp/cloud/aws/purge-resources-specific-az/

[IGA-OS]

6時間やったか・・・

[masakih]

AWSの障害の原因は大雑把に言うと「日本暑すぎｗｗｗ」か

[tohakoya-gate]

これは海中データセンターの需要が高まる・・・？

[awkad]

AWSだからこの時間で復旧できたってAWSは年一くらいでこういう障害あるけどさすがに銀行なんかの金融系システムは年一でこんな止まり方してない。単純なAWS上げオンプレ下げはいかがか。単にSIer下げたいだけに見える。

[teto2645]

面白い。

[taxpayers]

これ途中からオペレータが無能なせいで復旧に失敗してるだろ。マニュアル外の事態が起こっても自分の頭で考えて対処できる人員を一人ぐらい雇っとけや

[ysync]

月面にデータセンター作ろう…。遅延がやばいなｗ

[asakura-t]

マルチAZで大丈夫じゃなかったっぽいのに「マルチAZにしてれば大丈夫」的なことをAWS側が言ってるなら全く信用ならないな。

[cider_kondo]

よーわからん。トラブル起きたら普通はシーケンサ(三菱語)を真っ先に見に行く(ラダーにコメント書けんとか謎ブコメあるが何十年前の話だ？)し、そこにGOT(三菱語)でも付けとけば済む話では。どういうシステムなんやろ？

[a96neko]

8月23日は凄く暑かったけ？

[mongrelP]

どうしようもねー感がすごい

[igrep]

なんでRDSについての言及がなかったんだろう

[iasna]

二重三重に対策があっても一部で機能しなかったのか、リタイヤが必要とは結構な痛手ですな……

[lowpowerschottky]

障害直前に制御システムの一部変更… 運用中の変更はしたくないね～　　　物理スイッチがないのもコワイ　　社内オンプレなら６時間では戻せないかもな

[guldeen]

そうかといって、北海道にサーバー基地を据えたら今度は『大規模停電』に見舞われたり(例・さくら)と、『負荷が掛かっても安定したデータストレージ』の確保への道は遠い…(-_-;)

[remoteworker]

活断層がなくて台風がめったにこない涼しい田舎に新リージョン作ったほうがいいのかね。そこで働く優秀なエンジニアの確保が大変そうだけど