障害から学ぶクラウドの正しい歩き方について考える - そーだいなるらくがき帳

AWSで大きな障害が発生したこの機会に、自分がクラウドと正しく付き合っていくために必要なことを考える。 piyolog.hatenadiary.jp ちなみに稼働率 99.99% くらいを目指していくために必要な事を考える。 必要な稼働率を見極める 今回は 99.99% くらいを目指すと言ったが、実際に自分たちにとってどのくらいの稼働率を目指すか？ということはとてもとても大切だ。 幸い、今回自分は影響がなかったが、本当に完璧か？と言われるとそうではない。 まず弊社の場合、マルチリージョンではないので東京リージョンが落ちたら落ちる。 これを許容できない場合に99.99%を目指せるか？というと正直厳しい。 しかしサイトの規模はそんなに大きくないのでデータサイズも現実的に転送出来る範囲で、コンポーネントも少なく、TerraformやAnsibleによって再構築しやすい状態は整っている。 そのため

[hdampty7]

実は別の会社のサービスもいっしょに被害を受けるというのが心理的にかなり有難いのよね。自社だけ死ぬと俺らのせいにされるんだけど、あそこも、あそこも死んでるってなると、よく頑張って復旧してくれたねってなる

[kazeburo]

戻ってきたときに確認をする人はアルコールダメです

[remoteworker]

最近年に2-3回は大規模障害あるからSLA99.99%とか99.999%なんてファンタジーだってみんな薄々わかってるだろう

[kkobayashi]

冗長化はクラウドの方でやってくれている、という前提（期待）があるだろうからなぁ。

[hara_boon]

“必要な稼働率を見極める” ここがまずはポイントだな

[togusa5]

無責任な机上の空論

[ko-gold]

ソフトウェアエンジニアらしい検討だなぁ。これだから自社にインフラエンジニアが必要なんだよね。だいたいクラウドなんだからマルチリージョン構成にしてもコストは掛け算になんないでしょ

[i178inaba]

自前オンプレでインフラ構築してクラウド以上の稼働率にできるかって言ったらできなさそうだし、できたとしても莫大なコストがかかりそうなので結局クラウドを使うのが一番コスパがいいって話だと思ってる。

[yamadadadada2]

リージョンの冗長化もAWSがやってくれるようにそのうちなるかもなぁ

[halfrack]

現時点より障害範囲が拡大しないという確信を持てるなら真だが現実は違うと思う(今回なら 14:27 の発表まではダメコンしたい)

[slash_01]

ハイボールを飲みながら待つ

[hiromark]

自分の脳みそをどこにもっていくかで「同意」にもなるし「違うでしょ」にもなるｗｗｗ (どこでバランスとるか・・・)

[hdkINO33]

“「クラウドが壊れたらハイボールでも飲みならが直るのを待つ」”

[surume000]

同意

[braitom]

大事なこと。“結局のところ、サービスを構築する上でコントローラブルな場所は意外と少ないことがわかった”

[iwasiman]

できることをやって、それでも障害が起こったら酒でも飲みながら待とうというそーだいさんにypる話。ハイボールって度数高めですよね。

[ya--mada]

なんだかアレだな

[apricoton]

飯食いながら待ってた

[golden_eggg]

"deploy系の責務とbot処理が1つのEC2インスタンスに集約しており、そのインスタンスが死んだため、簡単にdeployできる状態ではなかった" これがクリティカルな現場それなりにありそうだなと思ってた

[frozen_faithjp]

“場合によってはマルチクラウドが必要になるかも知れない。 実際にDBだけに置いても稼働率 99.999% から実現していく難易度が跳ね上がっていく。 サービスとなるとコンポーネント毎に当然冗長化は必要なので掛け算でコ

[ogi1i1]

とりあえず叩いてみたり、とりあえず諦めたりしているビジネスサイドの人は、必ず読んでほしい。

[maecchi]

“「クラウドが壊れたらハイボールでも飲みならが直るのを待つ」 ”気の持ちようとしてはあながち間違っていない気がする

[vaaaaaanquish]

流石の良記事

[renowan]

うるせ〜おれらはFBI以上の堅牢性を求めてるんだよ！

[zaki-hmkc]

“「クラウドが壊れたらハイボールでも飲みならが直るのを待つ」”

[mezamashi0540]

年に一度、許容できる連続停止時間、対策費用などをリストにしてお客に確認してもらっていたな。お客自身に許容時間を認識してもらわないと、要求が過大になる。

[kohgethu]

クラウド云々より、データの保存先を一ヶ所にするのは危険なので、何ヶ所かに分けるのが適当なんだと思うんだけどどうなんだろ？

[dbfireball]

企業は障害なら停止しても致し方ないと考えるのだが消費者が許容しない世の中になってんだよな。ゲームなんてその最たるモノでして。

[rryu]

稼働率計算の対象外としている部分は本来はサービス提供者の稼働率を使うべきで、それらすべてが99.99%であっても全体では99.99%にはならないというのが恐ろしいところ。

[s_nagano]

“ 「クラウドが壊れたらハイボールでも飲みならが直るのを待つ」”

[viperbjpn]

“必要な稼働率を見極める” ほんとこれ。

[non_117]

クラウドは災害よく起きるものなので、問題が起きたら踊りながら祈ってるよ

[azuk1]

結局ユーザーと同意も得ずに前のめりでクラウド進めるとトラブルに繋がるってこと