fastlyのCDNで発生したシステム障害についてまとめてみた - piyolog

2021年6月8日、fastlyのCDNサービスで障害が発生し、国内外複数のWebサイトやサービスに接続できないなどといった事象が発生しました。ここでは関連する情報をまとめます。 原因はソフトウェアの潜在的な不具合 fastlyより6月8日付で今回の障害の顛末が公開されている。 www.fastly.com 障害原因はソフトウェアの潜在的な不具合で特定状況下かつ顧客構成で発生する可能性があった。このソフトウェアは5月12日に展開が開始されていた。 6月8日早くにこの不具合を発生条件を満たす構成変更が顧客によって行われネットワークの85%がエラーを返す事態が発生した。サイバー攻撃の可能性は否定と報じられている。*1 障害は発生から1分後にfastlyに検知され、49分以内にネットワークの95%が復旧した。 今回の障害を受け、短期的には修正プログラムの早期適用、復旧時間の短縮、テスト時に不具合

[kako-jun]

1分で気づいて49分で直すなんて、fastlyって名前通りあなた早いのね

[versatile]

amazon が一瞬で cloudfront へきりかえたの草

[Cald]

AmazonはAmazon CloudFrontではなくfastly使ってるのね。

[Falky]

ごく普通の不具合であってもリカバリ50分以内って十分早いのに、世界中すべてダウンさせてるっていう状況下でこれよ…。バケモンか？俺だったら心臓バクバク、アドレナリン出すぎで高速かつ正確な判断なんか無理！

[ewq]

次回のRebuild.fmはこの話題が出るのかな、と期待している

[ema_hiro]

流石のまとめ助かる。しかし、影響範囲がすっごいな...。

[securecat]

CDNこそがネットを牛耳ってる感あるなー。というか、インターネットて各レイヤーに牛耳ってるのいて面白いな

[mayumayu_nimolove]

出来る小鳥ぴよぴよ

[cyan0302]

ある顧客の設定変更でバグを踏んでしまい、世界中のウェブサイトに影響が出るって面白いな

[asuka0801]

AmazonはAkamaiに切り替えてたよ。CloudFrontは使ってない。

[ys0000]

ここのエンジニアは本当にすごいんだな。1時間以内に原因を特定してパッチリリースまで行っているなんて。潜在不具合とか普通1時間以内に特定できないだろ。

[kuracom]

amazonも使ってるfastly

[richard_raw]

結構騒ぎになってたみたいですが、1時間以内に解決したんですな。すごい。/特定顧客の構成が全体に影響したのか……。/ #rebuildfm で解説されるかな？

[yuyumomo999]

復旧早すぎ。

[momonga1123]

日本じゃこの速度は無理だろな・・

[dekaino]

顧客企業各社のIT部門は経営層に「なんでfastlyにしたの? 高くてもAkamaiにしとくべきじゃなかったの?」詰問されてるんだろうなあ

[GEROMAX]

顧客対応が大変だろうなぁ。。

[iekusup]

ほー。

[kei_0000]

結局障害復旧の為に何をしたのかが分からなかった。「19時27分原因となった顧客の構成を特定」と「19時36分CDNが順次復旧」の間に何かをしたと思うのだが。

[wata_d]

対応が早い

[taguch1]

速い。けど心臓に悪いだろうなぁ。

[messzylinder]

やはりデータ量が大きかったり、更新頻度が高いサービスが多い印象

[hasegawatomoki]

そうか。 #rebuildfm でこの話題になると逆矢文案件になるのか。（逆とは）

[adsty]

潜在的な不具合により国内外の主要サイトに広く影響した。

[natu3kan]

これだけ影響あるって、そこまで浸透してるって事だもんなあ。

[kenkoudaini]

85%が死ぬようなソフトウェアの不具合って何だよ

[John_Kawanishi]

｢原因はSoftwareの潜在的な不具合｣｢6月8日早くにこの不具合を発生条件を満たす構成変更が顧客によって行われNetworkの85%がErrorを返す事態が発生｣｢発生から1分後にfasltyに検知され49分以内にNetworkの95%が復旧した｣

[s025236]

Amazonは自社サービス使ってないんかい！って思った事故でした。影響の範囲は大きかったけど1時間程度で原因特定/修正して世界中のedgeに反映して復旧しちゃう技術すごいおと思う

[ducky19999]

影響範囲…

[kotas]

インターネットが壊れた

[ya--mada]

お役所も2019年の台風を機にCDNに乗せるようになっていて進化している。次はCDN含めクラウド障害、BGPお漏らし障害にも耐える構成も採用する事をシステムに合わせて検討いただこうか。

[buhoho]

回復めちゃめちゃ速いな

[zkq]

imgurも影響を受けたとにちゃんねらーが申しております