Cloudflare outage on June 21, 2022

This post is also available in Deutsch, Français, 简体中文, 繁體中文, 日本語, 한국어, Español and ไทย. IntroductionToday, June 21, 2022, Cloudflare suffered an outage that affected traffic in 19 of our data centers. Unfortunately, these 19 locations handle a significant proportion of our global traffic. This outage was caused by a change that was part of a long-running project to increase resilience in our busi

[sora_h]

この手のサービスはインシデントレスポンスの真摯さが問われるけど、さすがに図解もついたPostmortem 出すの早すぎてビビる

[popkirby]

「ある人が設定をrevertした後、そのrevertを他の人がさらにrevertしたりしたため、解決が遅れた」とても人間味がある

[Dolphin7473]

“This was delayed as network engineers walked over each other's changes, reverting the previous reverts, causing the problem to re-appear sporadically.”このあたりのエンジニアさんの心境を思うとこちらまでドキドキしてくるな

[k1mny]

4%の変更で50%の範囲に影響

[IGA-OS]

どこかで読んだ中国に絡んだ動きではなさそうね。しかし、報告出すまでの速さが素晴らしい

[kt_kyoto]

#現場猫 “Before it was allowed to go out, it was also peer reviewed by multiple engineers. Unfortunately, in this case, the steps weren’t small enough to catch the error before it hit all of our spines.”

[mu_hal]

昨日の障害をもう報告書にして掲載できるこのスピード感。企業として凄い。

[masutaka26]

昨日のインシデントレポート。スピード感

[mrnns]

JUNOSのcompare書いてあって分かりやすい。

[tettekete37564]

普段のモニタリングとチェック体制が万全だから早いんだろうな。これが日本だと犯人探しとなんでミスしたんだにフォーカスされてしまい100点満点以外認めないゼロリスク信仰が責任回避に全振りさせる

[negima1976]

対応が早い

[kanai6274]

JUNOSのConfigまで見せてくれるなんて

[rrringress]

はやいなー

[syu-m-5151]

Cloud Flare のポストモーテムで図解入りの説明を当日のレベルで出すの企業としての信頼ができすぎる、。詳細が分かるかつわかりやすい...

[d6rkaiz]

出すの早いな

[razokulover]

リバートをリバート、焦りが見えるな…

[ya--mada]

クラウドフレアすげぇな、アカマイ乗っ取られてるよな。

[daishi_n]

昨日のトラブルで自宅機器の問題かと思い脚を骨折してるのに2階のネット機器スペースで作業しないといけないかと思って悩んでたぞ

[circled]

hackernewsとredditのリンクも貼って追加で世の中のコメントや議論から更に学べる素晴らしさ。俺達の失敗をネタにして盛り上がってくれよな？(良い意見があったら、盗んでしまおう)みたいな強かさも感じる。

[momonga1123]

日本なら一生社内報告に追われて社外への詳細リリースなんかこのスピードではできない

[buzztaiki]

はやい。

[tarotheripper]

はえぇ

[iwanofsky]

このスピードが、信頼となるわいな。 概ねビジネスでは、早いは正義だわさ。

[S0R5]

もうこんな詳しい説明出せるのか

[yo_waka]

“reverting the previous reverts, causing the problem to re-appear sporadically”あるあ・・・

[nekoruri]

仕事が早い

[mactkg]

早すぎてビビる。 / すごい “Even though these locations are only 4% of our total network, the outage impacted 50% of total requests.”

[codehex]

細かく解説されてて凄い postmortem なんだけど知識なさすぎてぱっと見でわからない。頑張る

[mayumayu_nimolove]

エラーが起きた時の訓練やってれば早くなるよ

[fhvbwx]

だいたいの図は事前に用意しておけるので、素早い対応ではなく日頃の積み重ねを称賛されるべき

[cco]

大変やな(小並) Tokyoも幹線(busiest)なんだなあ

[iekusup]

早いんだねー。