Fastlyが大規模障害の経緯を公開、原因はソフトウェアのバグ。障害を1分以内に検知し、49分でおおむね復旧させたと報告

Fastlyが大規模障害の経緯を公開、原因はソフトウェアのバグ。障害を1分以内に検知し、49分でおおむね復旧させたと報告 CDNベンダ大手のFastlyが日本時間6月8日夕方に障害を発生、その影響は国内にもおよび、メルカリや楽天市場、Amazon.co.jp、Twitter、ABEMAなど多くのサービスに接続できないなどの障害が発生しました。 We identified a service configuration that triggered disruptions across our POPs globally and have disabled that configuration. Our global network is coming back online. Continued status is available at https://t.co/RIQWX0LWwl

[inose660]

稼働率 99.99％ 以上を換算すると年間で 52.56 分以下の停止になる。今回の復旧はそれなりに早いと思うし、これより高い SLA を目指すことの難しさを実感する。

[kotaponx]

AkamaiはSLA 100%を公言してるんだよね。まぁ、絶対落ちないシステムなんてものは無いので、落ちたら即カネ払うよという覚悟なんだろう。

[osugi3y]

1分後に検知できてもこれだけ甚大な影響力を与えるのか

[diveintounlimit]

今後の対策が再発防止を徹底とかじゃなくより具体的でとても良い

[koyhoge]

障害発生後1分で検知、40分後に原因特定、73分後に復旧。これ中々できることじゃない。Fastlyすげぇ。

[otchy210]

超優秀じゃないか。信頼が増すインシデントだな。

[ockeghem]

『障害の原因は、過去にデプロイしたソフトウェアに特定の条件下で発生するバグが含まれていたとのことです。ただし、それがどのようなバグであるかは説明されていません』

[stilo]

“障害を1分以内に検知し、原因を特定して隔離、設定を無効化しました。そして49分後には、ネットワークの95％が正常動作となりました”

[clubman023]

すごい

[tarotheripper]

id:satorhyum 年間8.76時間は99.9%では? (24*365)*(1-0.999)=8.76

[satorhyum]

堂々と算数間違えていいね稼いでるけど年間8.76時間許容されるよ→稼働率 99.99％ 以上を換算すると年間で 52.56 分以下の停止になる。

[iekusup]

ほー。

[katzchang]

“本インシデントの詳細な振り返りをあらためて行うこと、テストプロセスでなぜバグが見過ごされたかを調査すること、復旧時間の短縮に取り組むことなど”

[harumomo2006]

他社サービスを使うのは、純粋に調査の為、不可侵の証としてお互いのサービスを使い合う、自社サービスを信用してない、等がある。また今回のようなトラブルが起きた時他社なら損害賠償で損失補填できる可能性が残る

[arx0balest]

1時間くらい止まってもいいじゃん。みんな生き急ぎ過ぎでは？

[kamei_rio]

"障害の発生から1分以内に検知し、対応。49分後にはおおむね復旧させた" 影響を小さいとみるか大きいとみるか

[mayumayu_nimolove]

やるじゃん

[gabill]

Config(唯一の永続的なデータ)、統計情報(ロールバックしても構わない)、キャッシュ(消せばまた作られる)...と言った感じのロールバックしやすい世界だったとか？そんなに単純でもないか。

[kuzumimizuku]

影響は広範囲すぎたけど、経緯報告を見る限り検知も対応も迅速だなあ。事後のテストプロセスの調査がきちんとできれば、かなり万全に見える。

[Lian]

すご